ColecĠia "PRELUCRAREA SEMNALELOR"

________________________________________________________________

METODE ADAPTIVE
DE PRELUCRARE
A SEMNALELOR
 Cartea face o expunere exaustivă a principiilor úi metodelor utilizate în
prelucrarea adaptivă a semnalelor, un subiect de largă aplicabilitate în multe
domenii de vârf ale tehnicii actuale. Rod al unei experienĠe îndelungate, fapt
evidenĠiat de vasta bibliografie utilizată, ea conĠine numeroase aplicaĠii úi
probleme care completează în mod fericit materialul teoretic de înaltă Ġinută.
Lucrarea se constituie într-un util instrument de lucru dedicat tuturor
celor interesaĠi de prelucrarea digitală a semnalelor, în special de
telecomunicaĠii. Ea este adresată în primul rând studenĠilor electroniúti
masteranzi care studiază disciplina Traitement adaptatif du signal, dar poate fi
utilă doctoranzilor úi cercetătorilor care se specializează în domeniul prelucrării
adaptive a semnalelor.

Referent útiinĠific: Prof.dr.ing. Ioan NAFORNIğĂ

Descrierea CIP a Bibliotecii NaĠionale a României

CÂMPEANU, ANDREI
Metode adaptive de prelucrare a semnalelor/
prof.dr.ing. Andrei Câmpeanu, asist.ing. János Gál -
Timiúoara: Editura Politehnica, 2009
Bibliogr.
ISBN 978-973-625-605-9

I. Gál János

621.391.8
Prof.dr.ing. Andrei CÂMPEANU Asist ing János GÁL

METODE ADAPTIVE
DE PRELUCRARE
A SEMNALELOR

ColecĠia “PRELUCRAREA SEMNALELOR”

EDITURA POLITEHNICA
TIMIùOARA - 2009
Copyright © Editura Politehnica, 2009

Toate drepturile sunt rezervate editurii. Nici o parte din această lucrare nu
poate fi reprodusă, stocată sau transmisă prin indiferent ce formă, fără acordul
prealabil scris al Editurii Politehnica.

EDITURA POLITEHNICA
Bd. Republicii nr. 9
300159 Timiúoara, România

Tel. 0256/403.823
Fax 0256/403.823
E-mail: editura@edipol.upt.ro

Consilier editorial: Prof.dr.ing. Sabin IONEL

Redactor: Claudia MIHALI

Bun de imprimat: 14.09.2009

Coli de tipar: 25,25
C.Z.U. 621.391.8
ISBN 978-973-625-605-9

Tiparul executat sub comanda nr. 103

la Tipografia UniversităĠii "Politehnica" din Timiúoara
 PREFAŢĂ

Metodele adaptive reprezintă în momentul de faţă una din temele majore de studiu ale
disciplinei care se ocupă cu prelucrarea semnalelor. Începând cu anii 60, aceste metode
au cunoscut un avânt remarcabil, datorat dezvoltării tehnicilor de calcul numeric şi
creşterii constante a capacităţii calculatoarelor, permiţând implementarea în timp real a
unor algoritmi din ce în ce mai sofisticaţi şi mai puternici. Domeniile care au beneficiat
de impactul dezvoltării tehnicilor de prelucrare adaptivă a semnalelor includ în primul
rând telecomunicaţiile, dar şi aplicaţii radar sau sonar, aplicaţii în multimedia, analiza
datelor seismice şi teledetecţie, etc. În aceste aplicaţii, metodele adaptive realizează
operaţii precum identificarea şi modelarea parametrilor unor sisteme, filtrarea şi
predicţia unor semnale sau suprimarea interferenţelor şi zgomotelor din componenţa
semnalelor recepţionate.
Obiectivele pe care cartea îşi propune să le trateze sunt următoarele:
 Să expună principiile de bază şi metodele generale de filtrare adaptivă sub
forma unor idei simple şi clare.
 Să dea un acces rapid şi direct la algoritmii adaptivi cei mai utilizaţi, facilitând
înţelegerea şi stăpânirea lor în vederea alegerii celei mai convenabile soluţii
pentru o aplicaţie dată.
 Să ofere instrumentele matematice şi rezultatele necesare studiului
convergenţei algoritmilor de filtrare adaptivă.
Scopul principal al acestei cărţi este să ajute atât studenţii cât şi inginerii din
producţie să înţeleagă principiile matematice fundamentale care stau la baza metodelor
de filtrare adaptivă, să aprecieze limitările lor inerente şi să furnizeze detalii suficiente
pentru implementarea lor practică. Limbajul matematic utilizat este accesibil studen-
ţilor din ciclul doi de studii şi inginerilor de profil electric ce au cunoştiinţe standard în
domeniul algebrei lineare, al calculului probabilităţilor şi al prelucrării semnalelor.
În studiul filtrelor adaptive, simulările pe calculator constituie un complement
important în raport cu analizele şi deducţiile teoretice. Pentru realizarea acestora, se
utilizează, pe tot parcursul lucrării, programul MATLAB. Din carte fac parte integrantă
de asemenea, exerciţii şi probleme pe care le propunem la sfârşitul fiecărui capitol.
Lucrarea se deschide în Capitolul 1 cu o privire generală asupra structurii şi
principalelor categorii de aplicaţii ale filtrelor adaptive. Sunt trecute în revistă în acest
capitol mai multe exemple de aplicaţii ca modelarea de sistem, egalizarea de canal,
suprimarea ecourilor şi reţelele de antene.
VI PREFAŢĂ

Capitolele 2 şi 3 fac într-o primă instanţă rememorarea pentru cititor a unor

elemente de bază din domeniile analizei semnalelor deterministe şi aleatoare şi ale
algebrei lineare.
În Capitolul 4 este introdusă o clasă importantă de sisteme lineare optimale
cunoscute sub numele de filtre Wiener-Hopf. Filtrele Wiener-Hopf sunt fundamentale
pentru definirea şi implementarea filtrelor adaptive.
Capitolul 5 utilizează teoria filtrării Wiener-Hopf la rezolvarea problemei
predicţiei lineare. În cazul filtrelor de predicţie, răspunsul optimal este determinat
exclusiv pe baza seriei temporale de intrare, fapt care constituie baza algoritmului de
calcul recursiv Levinson-Durbin.
Tehnicile de filtrare adaptivă pot fi considerate în primul rând modalităţi de a
realiza filtrarea lineară optimală prin tehnici de calcul recursiv şi în absenţa unor
informaţii detailate cu privire la statistica procesului aleator filtrat. Din acest punct de
vedere, metodele de gradient prezentate în Capitolul 6 se constituie ca un suport
teoretic necesar atât înţelegerii cât şi analizei familiei de algoritmi LMS, cei mai
utilizaţi algoritmi adaptivi. Capitolul 7 este dedicat unui studiu exhaustiv al
algoritmului LMS, metoda adaptivă cea mai utilizată în practică. Analiza
performanţelor algoritmului este făcută atât din punct de vedere teoretic cât şi prin
simulări numerice. Algoritmii derivaţi din algoritmul LMS reprezintă subiectul
Capitolului 8 al lucrării. Variantele algoritmului LMS urmăresc să îmbunătăţească
performanţele algoritmului standard atât din punctul de vedere al creşterii
performanţelor cât şi al reducerii volumului de calcul.
Metoda celor mai mici pătrate (Least Squares) constituie subiectul Capitolului 9.
Aceasta poate fi văzută ca o alternativă la teoria filtrării optimale. În principiu, filtrele
Wiener-Hopf utilizează modele statistice ale semnalelor prelucrate, pe când abordarea
pe care o realizează metoda celor mai mici pătrate este deterministă. Capitolul 10 este
dedicat studiului algoritmului RLS (Recursive Least-Squares). Algoritmul reprezintă
cea mai bună aplicaţie a metodei celor mai mici pătrate în domeniul prelucrării
adaptive a semnalelor.
Capitolul 11 dedicat filtrului Kalman completează studiul filtrelor lineare optimale
cu o abordare diferită de cea utilizată de Wiener. Caracteristica ce distinge filtrele
Kalman de alte filtre optimale este că formularea lor matematică este realizată pe baza
conceptului de spaţiu al stărilor.
Ultimul capitol al lucrării tratează o clasă importantă de algoritmi adaptivi, care
sunt recurenţi atât după ordinul filtrului cât şi în timp: algoritmii RLS rapizi.
Ţinem să ne exprimăm recunoştiinţa tuturor colegilor din Departamentul de Comu-
nicaţii al Universităţii „Politehnica” Timişoara care ne-au sprijinit şi încurajat pe toată
perioada conceperii şi realizării acestei cărţi, îndeosebi Profesorului Ioan Naforniţă.
Finanţarea cărţii a fost asigurată de grantul CNCSIS tip TD-24 nr. 189/01.10.2007.

Andrei Câmpeanu
János Gál
 Cuprins

Prefaţă ................................................................................................................................ V
1 Introducere ............................................................................................................. 1
1.1 Filtre lineare .................................................................................................................. 1
1.2 Structura filtrelor adaptive ........................................................................................... 2
1.3 Algoritmii adaptivi ........................................................................................................ 5
1.4 Aplicaţiile filtrelor adaptive .......................................................................................... 5
1.4.1 Modelarea .............................................................................................................. 6
1.4.2 Modelarea inversă .................................................................................................. 7
1.4.3 Predicţia lineară ..................................................................................................... 9
1.4.4 Anularea interferenţelor ...................................................................................... 14
1.5 Filtrarea spaţială ......................................................................................................... 18
2 Semnale şi sisteme în timp discret ........................................................................ 21
2.1 Transformarea Z ......................................................................................................... 21
2.2 Proprietăţile transformării Z ....................................................................................... 22
2.3 Sisteme lineare invariante în timp (SLIT)..................................................................... 23
2.4 Cauzalitate şi stabilitate ............................................................................................. 25
2.5 Sisteme de fază minimă .............................................................................................. 26
2.6 Transformarea Fourier în timp discret ........................................................................ 27
2.7 Transformarea Fourier discretă .................................................................................. 27
2.8 Implementarea convoluţiei cu ajutorul transformării DFT ......................................... 28
2.8.1 Metoda Overlap-Add (Suprapune şi însumează) .................................................. 29
2.8.2 Metoda Overlap-Save (Suprapune şi salvează) .................................................... 31
2.9 Transformarea cosinus discretă (Discrete Cosine Transform - DCT) ........................... 32
Probleme ................................................................................................................................. 34
3 Procese aleatoare în timp discret .......................................................................... 37
3.1 Caracterizarea statistică a proceselor aleatoare în timp discret ................................ 37
3.1.1 Descrierea prin funcţii de probabilitate ............................................................... 38
3.1.2 Descrierea prin medii statistice de ordinul unu sau doi ....................................... 39
3.1.3 Categorii de procese aleatoare ............................................................................ 40
3.1.4 Procese aleatoare staţionare ............................................................................... 41
3.2 Caracterizarea temporală a proceselor aleatoare în timp discret .............................. 43
3.2.1 Medii temporale ................................................................................................... 44
3.2.2 Procese aleatoare ergodice .................................................................................. 44
3.3 Descrierea în domeniul frecvenţă a proceselor staţionare ......................................... 45
3.3.1 Densitatea spectrală de putere – definiţie şi proprietăţi ..................................... 45
3.3.2 Zgomotul alb ........................................................................................................ 48
3.4 Trecerea semnalelor aleatoare prin sisteme lineare invariante în timp ..................... 48
VIII CUPRINS

3.4.1 Analiza în domeniul timp ...................................................................................... 48

3.4.2 Analiza în domeniul frecvenţă .............................................................................. 50
3.5 Matricea de corelaţie .................................................................................................. 50
3.5.1 Definirea matricii de corelaţie .............................................................................. 51
3.5.2 Proprietăţile matricii de corelaţie ........................................................................ 51
3.5.3 Matricea de corelaţie a unei sinusoide complexe înecate în zgomot aditiv ........ 53
3.6 Vectori şi valori proprii ale matricii de corelaţie ......................................................... 55
3.6.1 Problema valorilor proprii .................................................................................... 55
3.6.2 Proprietăţile valorilor şi vectorilor proprii ............................................................ 57
3.7 Filtre adaptate şi filtre proprii ..................................................................................... 65
3.7.1 Filtrul adaptat ....................................................................................................... 67
3.7.2 Filtrul propriu ....................................................................................................... 67
3.8 Transformări care utilizează descompunerea triunghiulară ....................................... 68
3.8.1 Descompunerea LDU ............................................................................................ 69
3.8.2 Descompunerea UDL ............................................................................................ 70
3.9 Modelarea lineară a semnalelor stochastice .............................................................. 70
3.9.1 Modelul stochastic cu medie alunecătoare (MA) ................................................ 71
3.9.2 Modelul stochastic autoregresiv (AR) .................................................................. 72
3.9.3 Modelul stochastic ARMA .................................................................................... 75
Probleme ................................................................................................................................. 76
4 Filtre lineare optimale ........................................................................................... 81
4.1 Filtrarea optimală lineară: punerea problemei........................................................... 81
4.2 Principiul ortogonalităţii ............................................................................................. 84
4.2.1 Formularea principiului ........................................................................................ 84
4.2.2 Corolarul principiului ortogonalităţii .................................................................... 86
4.2.3 Interpretarea geometrică a principiului ortogonalităţii ....................................... 86
4.3 Ecuaţiile Wiener-Hopf ................................................................................................. 87
4.3.1 Calculul coeficienţilor filtrului Wiener în cazul general ........................................ 87
4.3.2 Soluţia matricială a ecuaţiilor Wiener-Hopf pentru filtre FIR de lungime finită ... 88
4.4 Suprafaţa de eroare .................................................................................................... 91
4.4.1 Calculul funcţiei de cost ....................................................................................... 91
4.4.2 Forma canonică a suprafeţei de eroare ............................................................... 94
4.5 Rezolvarea ecuaţiilor normale prin descompunere triunghiulară .............................. 96
4.6 Reprezentarea prin transformare a filtrului optimal .................................................. 99
4.7 Caracterizarea în frecvenţă a filtrului optimal .......................................................... 102
4.8 Egalizarea de canal ................................................................................................... 103
4.9 Filtrul de varianţă minimă cu constrângeri lineare ................................................... 106
Probleme ............................................................................................................................... 111
5 Predicţia lineară .................................................................................................. 115
5.1 Predicţia lineară înainte (directă) ............................................................................. 115
5.1.1 Filtrul de predicţie înainte .................................................................................. 115
5.1.2 Filtrul erorii de predicţie înainte ........................................................................ 117
5.1.3 Relaţia dintre predicţia lineară şi modelarea autoregresivă .............................. 118
5.1.4 Ecuaţiile Wiener-Hopf extinse pentru predicţia înainte ..................................... 119
5.2 Predicţia lineară înapoi (inversă) .............................................................................. 121
 CUPRINS IX

5.2.1 Filtrul de predicţie înapoi ................................................................................... 121

5.2.2 Relaţia dintre filtrele de predicţie înainte şi înapoi ............................................ 123
5.2.3 Filtrul erorii de predicţie înapoi .......................................................................... 124
5.2.4 Ecuaţiile Wiener-Hopf extinse pentru predicţia înapoi ...................................... 125
5.3 Predicţia lineară generalizată ................................................................................... 126
5.4 Algoritmul Levinson-Durbin ...................................................................................... 128
5.4.1 Formularea algoritmului ..................................................................................... 129
5.4.2 Interpretări ale parametrilor  m şi  m1 ........................................................... 132
5.4.3 Implementarea algoritmului .............................................................................. 133
5.5 Algoritmul Schür ....................................................................................................... 136
5.6 Proprietăţile filtrelor erorii de predicţie .................................................................... 140
5.7 Structuri lattice pentru filtrele de eroare de predicţie .............................................. 142
5.7.1 Ortogonalitatea erorilor de predicţie ................................................................. 142
5.7.2 Recursii după ordin pentru erorile de predicţie ................................................. 145
5.8 Recursia lui Burg ....................................................................................................... 148
Probleme ............................................................................................................................... 150
6 Metode de gradient ............................................................................................ 153
6.1 Metoda SD ................................................................................................................ 154
6.1.1 Introducere......................................................................................................... 154
6.1.2 Descrierea metodei SD ....................................................................................... 155
6.2 Soluţia directă a ecuaţiei de recursie SD ................................................................... 158
6.2.1 Calculul soluţiei .................................................................................................. 158
6.2.2 Soluţia metodei SD ............................................................................................. 160
6.3 Convergenţa metodei SD .......................................................................................... 161
6.3.1 Stabilirea condiţiilor de convergenţă ................................................................. 161
6.3.2 Dinamica procesului de convergenţă ................................................................. 162
6.3.3 Comportarea tranzitorie a erorii pătratice medii ............................................... 163
6.3.4 Viteza de convergenţă ........................................................................................ 164
6.4 Metoda Newton ........................................................................................................ 169
6.4.1 Formularea algoritmului ..................................................................................... 169
6.4.2 O interpretare alternativă a metodei Newton ................................................... 172
Probleme ............................................................................................................................... 173
7 Algoritmul gradientului stochastic (LMS) ............................................................ 177
7.1 Deducerea algoritmului LMS .................................................................................... 177
7.2 Analiza performanţelor algoritmului LMS ................................................................ 180
7.2.1 Convergenţa în medie a vectorului coeficienţilor .............................................. 180
7.2.2 Ipoteze în studiul comportării erorii pătratice medii a algoritmului LMS .......... 184
7.2.3 Curba de învăţare a algoritmului LMS ................................................................ 185
7.2.4 Evoluţia matricii de corelaţie a erorii coeficienţilor ........................................... 187
7.2.5 Eroarea pătratică medie în exces şi dezadaptarea ............................................. 190
7.2.6 Stabilitatea algoritmului LMS ............................................................................. 192
7.2.7 Reguli practice de implementare a algoritmului LMS ........................................ 193
7.3 Simulări pe calculator ............................................................................................... 194
7.3.1 Predicţia lineară ................................................................................................. 195
X CUPRINS

7.3.2 Modelarea de sistem .......................................................................................... 198

7.3.3 Egalizarea adaptivă ............................................................................................. 200
7.4 Algoritmi LMS pentru aplicaţii de control activ ........................................................ 204
7.4.1 Algoritmul LMS cu filtrarea referinţei ................................................................ 205
7.4.2 Algoritmul LMS cu filtrarea erorii ....................................................................... 207
7.5 Algoritmul LMS cu constrângeri liniare ..................................................................... 211
7.6 Efectele cuantizării asupra implementării digitale a algoritmului LMS .................... 216
Probleme ............................................................................................................................... 218
8 Algoritmi derivaţi din algoritmul LMS ................................................................. 223
8.1 Algoritmi LMS cu semn ............................................................................................. 224
8.1.1 Algoritmul LMS cu semnul erorii ........................................................................ 224
8.1.2 Algoritmul LMS cu semnul datelor ..................................................................... 226
8.1.3 Algoritmul LMS semn-semn ............................................................................... 226
8.2 Algoritmul LMS normalizat ....................................................................................... 227
8.2.1 Deducerea algoritmului ...................................................................................... 227
8.2.2 Stabilitatea algoritmului NLMS........................................................................... 230
8.3 Algoritmul LMS-Newton ........................................................................................... 232
8.4 Algoritmi LMS cu transformare de domeniu ............................................................. 235
8.4.1 Principiul filtrării adaptive TDAF ......................................................................... 235
8.4.2 Transformări ortogonale .................................................................................... 237
8.4.3 Formularea algoritmului ..................................................................................... 241
8.4.4 Transformarea Karhunen-Loève şi algoritmul LMS-Newton .............................. 243
8.5 Algoritmul de proiecţie afină .................................................................................... 244
8.5.1 Formularea algoritmului APA ............................................................................. 245
8.5.2 Abordare alternativă a algoritmului APA ........................................................... 248
8.5.3 Interpretarea proiecţiei afine ............................................................................. 249
8.6 Algoritmi LMS pentru structuri lattice ...................................................................... 251
8.6.1 Algoritmul LMS-GAL pentru filtre ale erorii de predicţie lattice ........................ 251
8.6.2 Algoritmul LMS-GAL de filtrare adaptivă ............................................................ 254
Probleme ............................................................................................................................... 258
9 Metoda celor mai mici pătrate ............................................................................ 261
9.1 Formularea problemei celor mai mici pătrate .......................................................... 261
9.1.1 Ecuaţia matricială a erorii ................................................................................... 261
9.1.2 Deducerea algebrică a ecuaţiilor normale în metoda LS .................................... 265
9.1.3 Interpretarea geometrică a estimării prin metoda celor mai mici pătrate ........ 266
9.1.4 Proprietăţi ale soluţiei problemei celor mai mici pătrate .................................. 268
9.1.5 Ecuaţiile LS normale ponderate ......................................................................... 269
9.1.6 Proprietăţile statistice ale estimatorilor LS ........................................................ 270
9.2 Filtre FIR realizate prin metoda celor mai mici pătrate ............................................ 272
9.3 Tehnici de ortogonalizare utilizate în calculul estimării LS ....................................... 275
9.3.1 Factorizarea QR .................................................................................................. 275
9.3.2 Transformarea (reflexia) Householder ............................................................... 278
9.3.3 Transformarea (rotaţia) Givens .......................................................................... 280
9.3.4 Ortogonalizarea Gram-Schmidt.......................................................................... 283
9.4 Rezolvarea problemei LS prin descompunerea în valori singulare ............................ 285
 CUPRINS XI

9.4.1 Teorema descompunerii în valori singulare ....................................................... 285

9.4.2 Proprietăţi şi interpretări ale descompunerii în valori singulare ....................... 286
9.4.3 Soluţia de normă minimă a problemei LS .......................................................... 288
Probleme ............................................................................................................................... 291
10 Soluţii recursive ale problemei LS ........................................................................ 295
10.1 Filtre LS adaptive ...................................................................................................... 295
10.1.1 Ecuaţiile de recursie ale matricii de corelaţie şi vectorului de intercorelaţie .... 296
10.1.2 Algoritmul adaptiv LS apriori .............................................................................. 297
10.1.3 Algoritmul adaptiv LS aposteriori ....................................................................... 298
10.2 Algoritmul RLS standard ........................................................................................... 301
10.2.1 Deducerea algoritmului ...................................................................................... 301
10.2.2 Ecuaţia de recursie a minimului funcţiei de cost ................................................ 302
10.2.3 Particularităţi ale algoritmului RLS standard ...................................................... 304
10.3 Analiza convergenţei şi performanţelor algoritmului RLS ........................................ 305
10.3.1 Analiza algoritmului cu memorie infinită ........................................................... 305
10.3.2 Analiza algoritmului cu memorie finită .............................................................. 306
10.3.3 Simularea pe calculator ...................................................................................... 308
10.4 Algoritmi RLS cu factorizare QR ................................................................................ 310
10.4.1 Calcule LS prin descompunere Cholesky sau QR ................................................ 310
10.4.2 Leme de factorizare matricială ........................................................................... 314
10.4.3 Algoritmul QR-RLS .............................................................................................. 315
10.4.4 Algoritmul QR-RLS extins .................................................................................... 317
10.4.5 Algoritmul QR-RLS invers.................................................................................... 318
10.4.6 Implementarea algoritmului QR-RLS prin utilizarea rotaţiilor Givens ................ 319
10.4.7 Implementarea algoritmului QR-RLS invers prin utilizarea rotaţiilor Givens ..... 323
10.5 Clasificarea algoritmilor RLS ..................................................................................... 327
Probleme ............................................................................................................................... 329
11 Filtrul Kalman ...................................................................................................... 331
11.1 Ecuaţii de stare pentru sisteme lineare în timp discret ............................................. 331
11.2 Procesul de inovaţii ............................................................................................ 333
11.2.1 Definirea procesului de inovaţii ......................................................................... 333
11.2.2 Matricea de corelaţie a procesului de inovaţii ................................................... 334
11.3 Estimarea predicţiei de stare în filtrarea Kalman ..................................................... 336
11.3.1 Calculul recursiv al estimării de stare ................................................................. 336
11.3.2 Matricea de câştig Kalman ................................................................................. 337
11.3.3 Ecuaţia Ricatti ..................................................................................................... 339
11.4 Estimarea de stare prin filtrare ................................................................................. 341
11.4.1 Eroarea de estimare filtrată şi factorul de conversie ......................................... 342
11.4.2 Matricea de corelaţie a erorii de filtrare a stării ................................................ 342
11.5 Algoritmul de filtrare Kalman ................................................................................... 344
11.5.1 Condiţii iniţiale ................................................................................................... 344
11.5.2 Formularea algoritmului Kalman standard ........................................................ 345
11.6 Variante de filtre Kalman .......................................................................................... 348
11.6.1 Modelul sistemului dinamic neforţat ................................................................. 349
11.6.2 Algoritmul de filtrare de covarianţă (Kalman) .................................................... 350
XII CUPRINS

11.6.3 Algoritmul de filtrare informaţională ................................................................. 350

11.6.4 Algoritmi de filtrare Kalman cu descompunere matricială ................................ 352
11.7 Filtrul Kalman extins (EKF) ........................................................................................ 354
11.8 Filtrul Kalman şi algoritmul RLS ................................................................................ 358
11.8.1 O comparare a metodelor aleatoare şi deterministe ......................................... 360
11.8.2 Comparaţie între filtrul Kalman de covarianţă şi algoritmul RLS ....................... 361
Probleme ............................................................................................................................... 363
12 Algoritmi RLS rapizi ............................................................................................. 365
12.1 Predicţie liniară în context LS .................................................................................... 365
12.1.1 Recursia după ordinul filtrului ............................................................................ 365
12.1.2 Ecuaţiile erorii de predicţie LS ............................................................................ 367
12.1.3 Ecuaţiile de recursie ale predicţiei RLS ............................................................... 369
12.2 Filtre FIR rapide fără recursie de ordin...................................................................... 370
12.2.1 Inversarea matricilor hermitice partiţionate ...................................................... 371
12.2.2 Algoritmul Kalman rapid..................................................................................... 373
12.2.3 Algoritmul FAEST ................................................................................................ 376
12.2.4 Algoritmul FTF .................................................................................................... 377
12.2.5 Iniţializarea şi stabilitatea algoritmilor rapizi fără recursie de ordin .................. 379
12.3 Algoritmi LS rapizi pentru structuri lattice ................................................................ 379
12.3.1 Recursii după ordin în predictoare LS................................................................. 379
12.3.2 Algoritmi rapizi de predicţie lattice .................................................................... 382
12.4 Algoritmi LS rapizi pentru structuri lattice-scară ...................................................... 384
12.4.1 Filtre FIR cu recursie după ordin ........................................................................ 384
12.4.2 Structura de filtrare lattice-scară ....................................................................... 386
12.4.3 Algoritmi RLS lattice-scară .................................................................................. 387
12.4.4 Algoritmi RLS lattice-scară cu reacţie pe eroare ................................................ 389
12.4.5 Algoritmi RLS lattice-scară cu rotaţii Givens....................................................... 390
Probleme ............................................................................................................................... 397
Bibliografie ......................................................................................................................... 399
Index ............................................................................................................ 403
 1
Capitolul

1 Introducere
istemele care prelucrează semnalele prin metode adaptive poartă numele generic

S de „filtre adaptive”. Este normal să începem discuţia noastră despre filtrele

adaptive, printr-o încercare de a explica sensul celor două cuvinte. „Adaptiv”
este acel sistem care încearcă să-şi ajusteze el însuşi parametrii, astfel încât să
răspundă unor fenomene care se produc în vecinătate. În ceea ce priveşte cel de-al
doilea termen, sistemele care realizează şi suferă efectul procesului de „adaptare”, sunt
denumite prin termenul foarte familiar oricărui inginer de „filtre”. În funcţie de timpul
necesar atingerii ţintei finale a procesului de adaptare, denumit timp de convergenţă şi
de complexitatea resurselor utilizate pentru realizarea adaptării, putem avea o varietate
de algoritmi şi structuri de filtre. Din acest punct de vedere, tema acestei cărţi este
studiul unor algoritmi adaptivi şi implementarea acestora în structuri de filtrare adecva-
te din punctul de vedere a convergenţei şi performanţelor.

1.1 Filtre lineare

În contextul studiului semnalelor şi sistemelor, filtrele sunt utilizate pentru a selecta din
semnalul de intrare, componentele de frecvenţă care aparţin unei anumite benzi de
frecvenţă, rejectând în acelaşi timp restul componentelor care nu aparţin acestei benzi.
Într-o generalizare, utilizăm termenul filtru pentru a ne referi la un sistem care
modelează componentele spectrale ale semnalului de intrare pentru a genera un semnal
de ieşire cu caracteristici convenabile.
Filtrele (sau, în general, sistemele) pot fi atât lineare cât şi nelineare. În această
lucrare ne vom ocupa numai cu filtrele lineare, accentul fiind pus în totalitate pe
semnale şi sisteme în timp discret. Prin urmare, toate semnalele vor fi reprezentate prin
secvenţe, ca de exemplu u  n . Sistemele lineare se caracterizează prin respectarea de
către acestea a principiului superpoziţiei. Aceasta înseamnă că dacă răspunsurile unui
sistem linear în timp discret la secvenţele de intrare u1  n şi u2  n sunt y1  n
respectiv y2  n , atunci răspunsul aceluiaşi sistem la secvenţa de intrare
2 INTRODUCERE - 1

Figura 1.1 În cazul filtrării adaptive, rolul filtrului este de a modifica semnalul de
intrare în sensul realizării identităţii semnalului de ieşire cu semnalul dorit.
u  n  au1  n  bu2  n , unde a şi b sunt două constante arbitrare, va fi
y  n  ay1  n  by2  n . Această proprietate determină o serie de rezultate interesante
în teoria sistemelor lineare. În particular, un sistem linear este caracterizat complet de
răspunsul lui la impuls unitar sau de transformata Fourier a acestui răspuns, care este
denumită funcţie de transfer.
Figura 1.1 prezintă o structură generală de filtrare care evidenţiază scopul pentru
care sunt utilizate filtrele în această carte. În particular, filtrul din figură acţionează
asupra anumitor semnale de intrare în asemenea mod încât ieşirea să reprezinte o bună
estimare a semnalului dorit. Procesul prin care parametrii filtrului sunt modificaţi astfel
încât să se obţină o cât mai bună armonizare a semnalului de ieşire cu semnalul dorit,
se face prin optimizarea unei aşa-numite funcţii de performanţă. În cazul în care se
recurge la o abordare statistică, cea mai utilizată funcţie de performanţă este valoarea
medie pătratică a semnalului de eroare reprezentat de diferenţa dintre semnalul dorit şi
ieşirea filtrului. Dacă semnalul de ieşire şi semnalul dorit sunt staţionare, minimizarea
erorii medii pătratice conduce la bine-cunoscutul filtru Wiener-Hopf, care, din acest
motiv, se spune că este optimal în sensul erorii medii pătratice. În abordarea
deterministă, funcţia de performanţă este suma ponderată a pătratelor semnalului de
eroare. Minimizarea acestei funcţii conduce la un filtru care este optim pentru setul de
date de intrare considerat. Totuşi, în anumite condiţii şi ipoteze statistice, soluţia
deterministă se apropie de soluţia statistică, adică se ajunge la filtrul Wiener pentru
lungimi de date importante.

1.2 Structura filtrelor adaptive

În mod obişnuit, filtrele adaptive sunt implementate prin structura transversală de filtru
FIR (filtru cu răspuns finit la impuls ~ Finite Impulse Response) reprezentată în Figura
1.2. În acest caz, filtrul adaptiv are o singură intrare u  n şi o ieşire y  n . Secvenţa
d  n este semnalul dorit. Semnalul de ieşire y  n este dat de combinaţia lineară a
eşantioanelor întârziate ale secvenţei de intrare u  n , aşa cum rezultă din ecuaţia
M 1
y  n   wi*  n u  n  i  (1.1)
i 0
 1.2 Structura filtrelor adaptive 3

Figura 1.2 Filtru FIR (transversal) adaptiv.

unde w  n sunt ponderile filtrului (coeficienţii) iar M este lungimea filtrului. Refe-
*
i

rindu-ne la eşantioanele semnalului de intrare u  n  i  , pentru i  0,1, M  1 , acestea

poartă numele de intrările filtrului. Ponderile filtrului w  n pot varia în timp, fiind
*
i

controlate prin algoritmul adaptiv.

În unele aplicaţii, de exemplu în cazul antenelor adaptive care utilizează
formatoare de fascicule (beamforming), intrările celulelor filtrului nu sunt ca în cazul
anterior, eşantioane întârziate ale unui singur semnal de intrare. În aceste situaţii,
structura filtrului adaptiv ia forma din Figura 1.3. Vom numi această structură
combinator linear, întrucât ieşirea sa este o combinaţie lineară de semnale diferite
recepţionate pe intrările celulelor sale:
M 1
y  n   wi*  n ui  n (1.2)
i 0

Putem remarca faptul că structura de combinator linear este mai generală decât cea
de filtru transversal. Filtrul transversal poate fi considerat ca un caz particular al
combinatorului întrucât se alege ui  n  u  n  i  .
Structurile din Figura 1.2 şi Figura 1.3 sunt filtre nerecursive, adică calculul ieşirii

Figura 1.3 Combinator linear adaptiv.

4 INTRODUCERE - 1

Figura 1.4 Structura unui filtru cu răspuns infinit la impuls (IIR).

filtrului nu presupune nicio reacţie. Spre deosebire de filtrele nerecursive ce au

răspunsul la impulsul aplicat la intrare finit (FIR), un filtru cu răspuns infinit la impuls
(IIR ~ Infinite Impulse Response), vezi Figura 1.4, este caracterizat de ecuaţiile
recursive:
M 1 N 1
y  n   bi  n u  n  i    ai y  n  i  (1.3)
i 0 i 1

unde bi  n şi ai  n sunt coeficienţii nerecursivi respectiv recursivi ai filtrului.

Filtrele IIR au foarte multe aplicaţii, dar după cum va deveni mai clar în capitolele
următoare, din cauza dificultăţilor care apar în adaptarea filtrelor nerecursive, utilizarea
lor în domeniul filtrelor adaptive este destul de restrânsă. În particular, filtrele IIR pot
deveni uşor instabile pentru că polii acestora pot fi deplasaţi de către procesul de adap-
tare în exteriorul cercului de rază unitară (adică z  1, în planul z ). În plus, funcţia de
performanţă (adică dependenţa erorii medii pătratice de coeficienţii filtrului) a filtrului
nerecursiv are, de obicei, mai multe minime locale. Drept urmare filtrul poate converge
către unul dintre aceste minime ale funcţiei de performanţă, care nu este şi minimul
global al funcţiei. În opoziţie cu filtrele IIR, funcţia de eroare medie pătratică a unui
filtru FIR sau a unui combinator linear este pătratică, are un singur punct de minim
care poate fi determinat uşor prin diverşi algoritmi adaptivi. Acestea sunt motivele
pentru care, în capitolele ce urmează ne vom limita în totalitate la filtrele nerecursive.
Există câteva aplicaţii practice în care secvenţa de intrare a filtrului şi semnalul
dorit au valori complexe. Un exemplu bun pentru această situaţie este dat de
transmisunile de date digitale unde, în mod frecvent, se utilizează modulaţia de fază
digitală (PSK ~ Phase Shift Keying) sau modulaţia de amplitudine în cuadratură (QAM
~ Quadrature Amplitude Modulation). În aceste aplicaţii, semnalul din banda de bază
este alcătuit din două componente separate care sunt partea reală şi partea imaginară a
unui semnal de valoare complexă. Mai mult, în cazul implementării în domeniul
frecvenţă a filtrelor adaptive, apar semnale complexe, chiar dacă semnalele originale
sunt de valoare reală. Acesta este motivul pentru care vom studia în continuare, ori de
câte ori este posibil, cazul filtrelor adaptive în forma valorilor complexe. Este evident
 1.4 Aplicaţiile filtrelor adaptive 5

că situaţia mai simplă a filtrelor de valori reale reprezintă un caz particular şi

rezultatele obţinute pentru un filtru complex pot fi simplificate la cazul particular
extrem de uşor.

1.3 Algoritmii adaptivi

După cum s-a discutat deja în paragraful 1.1, algoritmii adaptivi s-au dezvoltat pe baza
a două abordări distincte, şi anume abordarea statistică şi abordarea deterministă.
Ambele abordări prezintă multe variaţii în implementările lor, ceea ce a condus la o
varietate bogată de algoritmi, fiecare dintre aceştia oferind anumite avantaje distincte.
În general, un algoritm adaptiv urmăreşte ca semnalul de ieşire al filtrului transver-
sal y  n să realizeze o „bună” estimare a semnalului dorit d  n (vezi Figura 1.2).
Drept măsură a „adaptării” ieşirii y  n la răspunsul dorit se generează o secvenţă de
eroare e  n  , utilizată de algoritmul adaptiv la modificarea coeficienţilor filtrului
w n la fiecare moment de timp n.
*
i

M 1
e  n  d  n   wi*  n u  n  i  (1.4)
i 0

Literatura de specialitate prezintă mai mulţi asemenea algoritmi adaptivi.

Utilizarea unui algoritm într-o aplicaţie dată ţine seama de următorii factori (Haykin
1996):
 viteza de convergentă (număr de iteraţii necesare pentru a ajunge la o soluţie
apropiată de cea optimă).
 capacitatea de urmărire a variaţiilor proprietăţilor statistice ale semnalelor.
 robusteţea algoritmului (capacitatea acestuia de a opera chiar şi în cazul
datelor ce ridică probleme de calcul numeric).
 complexitatea algoritmului (numărul de operaţii aritmetice şi capacitatea de
memorie necesară).
 structura algoritmului (implementare hardware).
 robusteţea numerică a algoritmului în raport cu precizia numerică de repre-
zentare a coeficienţilor.

1.4 Aplicaţiile filtrelor adaptive

Prin însăşi natura lor, filtrele adaptive sunt sisteme autoajustabile care se adaptează la
diverse condiţii şi situaţii. Drept urmare, filtrele adaptive îşi găsesc aplicaţii în domenii
diverse precum controlul sistemelor, comunicaţii, prelucrarea semnalelor radar şi
sonar, suprimarea interferenţelor, inginerie biomedicală, etc. Trăsătura comună a
acestor aplicaţii prin care ele pot fi încadrate în categoria filtrelor adaptive este că în
toate se desfăşoară un proces de filtrare a unui semnal de intrare astfel încât ieşirea să
6 INTRODUCERE - 1

Figura 1.5 Modelarea adaptivă a sistemului G  z  .

reprezinte cea mai bună estimare a unui semnal dorit. Parametrii filtrului sunt
actualizaţi în urma efectuării unui set de măsurători asupra semnalelor existente, rezul-
tatele măsurătorilor fiind aplicat algoritmului de filtrare adaptivă. Acesta acţionează
asupra parametrilor filtrului astfel încât diferenţa dintre ieşirea filtrului şi răspunsul
dorit să fie minimizată sau în sens statistic sau în sens determinist. În acest context,
putem identifica patru clase de bază de aplicaţii ale filtrării adaptive, şi anume
modelarea, modelarea inversă, predicţia lineară şi anularea interferenţelor. În
încheierea capitolului, vom face o trecere în revistă a acestor aplicaţii (Ciochină şi
Negrescu 1999, Farhang-Boroujeny 1998).

1.4.1 Modelarea
Figura 1.5 descrie problema modelării în contextul filtrării adaptive. Scopul este de a
estima parametrii modelului W  z  a unui sistem necunoscut G  z  . Pe baza unei
cunoaşteri apriori a sistemului G  z  , se alege pentru început o funcţie de transfer
W  z  cu un anumit număr de parametri ajustabili. Parametrii lui W  z  sunt apoi aleşi
astfel încât diferenţa dintre ieşirea sistemului d  n şi ieşirea filtrului adaptiv y  n să
fie minimizată.

Figura 1.6 Schema bloc a regulatorului cu auto-adaptare.

 1.4 Aplicaţiile filtrelor adaptive 7

Figura 1.7 În cazul modelării inverse, ieşirea sistemului necunos-

cut se conectează la intrarea filtrului adaptiv.

O aplicaţie directă a modelării este identificarea sistemelor. În multe sisteme

moderne de control, sistemul controlat este identificat on-line iar rezultatul identificării
este folosit într-un regulator auto-adaptiv, configuraţie descrisă în Figura 1.6 .
Caracteristicile neideale ale canalelor de comunicaţii provoacă anumite distorsiuni
asupra semnalelor recepţionate. Pentru a anula aceste distorsiuni se utilizează de obicei
egalizoare de canal. Această tehnică este echivalentă cu implementarea inversului
funcţiei de transfer a canalului, care va fi discutată în secţiunea următoare. Totuşi,
modelarea directă a canalului a fost găsită ca fiind utilă în unele implementări de
receptoare de date.

1.4.2 Modelarea inversă

În acest gen de aplicaţii, (vezi Figura 1.7) rolul filtrului adaptiv este de a furniza
modelul invers al unui sistem necunoscut. Ideal, în cazul în care eroarea este nulă
funcţia de transfer a filtrului adaptiv aproximează inversul funcţiei de transfer a
sistemului necunoscut, funcţia de transfer globală reducându-se la o întârziere.
Răspunsul dorit pentru filtrul adaptiv este, astfel, o versiune întârziată a semnalului de
la intrarea sistemului necunoscut.
Modelarea inversă, cunoscută şi ca deconvoluţie, are aplicaţii multiple. Aplicaţia
cea mai utilizată a modelării inverse este în domeniul comunicaţiilor, unde se foloseşte
un model invers (denumit egalizor) pentru a atenua distorsiunile de canal. Conceptul
de modelare inversă se aplică în controlul adaptiv al sistemelor, atunci când
dispozitivul de control se conectează în cascadă cu sistemul controlat astfel încât
răspunsul global să fie cel dorit (Widrow şi Stearns 1985). Şi procesul de predicţie,
care va fi discutat mai departe, poate fi văzut ca o schemă de modelare inversă. În
continuare, ne concentrăm asupra aplicării modelării inverse în egalizarea de canal.
Egalizarea de canal
Figura 1.8 prezintă schema bloc a unui sistem de transmisiuni în banda de bază echipat
cu un egalizor de canal. În figură, blocul Canal reprezintă combinaţia răspunsului în
frecvenţă al filtrului de transmisie, al canalului real şi al filtrului de la intrarea recepto-
rului. Secvenţa de zgomot aditiv v  n se datorează zgomotului termic al circuitelor
electronice şi posibilelor interferenţe de pe canalele învecinate. Simbolurile transmise
8 INTRODUCERE - 1

Figura 1.8 Un sistem de transmisie a datelor în banda de bază cu egalizare de canal.

s  n  apar sub forma de impulsuri modulate în amplitudine/fază, fiind distorsionate de

canal. Distorsiunea cea mai semnificativă este efectul de împrăştiere a impulsurilor
(pulse-spreading effect), ce este determinat de răspunsul la impuls al canalului care nu
este ideal, fiind diferit de zero pentru mai multe eşantioane. Consecinţa acestei
distorsiuni este apariţia interferenţei între simboluri învecinate, ceea ce îngreunează
utilizarea în procesul de detecţie al unui detector simplu cu prag. Fenomenul de
interferenţă al simbolurilor de date învecinate se numeşte interferenţă intersimbol (ISI
~ InterSymbol Interference). Prezenţa în semnalul recepţionat a zgomotului aditiv
v  n agravează şi mai mult fenomenul. Rolul egalizorului, văzut ca filtru, este să
elimine atât distorsiunile introduse de canal (rejecţia ISI) cât şi să minimizeze în
măsura posibilului efectul zgomotului aditiv la intrarea detectorului cu prag. Dacă
zgomotul ar putea fi ignorat, atunci sarcina egalizorului ar fi evidentă. Pentru
canalul H  z  , un egalizor cu funcţia de transfer W  z   1 H  z  ar fi perfect, pentru că
funcţia de transfer globală ar fi H  z W  z   1 , ceea ce ar face ca secvenţa transmisă
s  n  să apară nedistorsionată la intrarea detectorului. Din păcate, acesta este un caz
ideal, care nu poate fi realizat într-o aplicaţie practică.
Trebuie observat că inversa funcţiei de transfer a canalului, 1 H  z  , poate fi
necauzală dacă H  z  are zerouri situate în exteriorul cercului de rază unitate, ceea ce
face ca soluţia să fie nerealizabilă în practică. Problema necauzalităţii poate fi evitată
dacă se utilizează condiţia H  z W  z   z  ,  fiind o întârziere convenabilă, număr
întreg de eşantioane. Alegerea acestei soluţii este echivalent cu a spune că la intrarea
detectorului se aplică o replică întârziată a simbolurilor transmise.
O altă remarcă este dată de observaţia că utilizarea egalizorului
W  z   z  H  z  poate duce la o amplificare semnificativă a zgomotului aditiv s  n 
în acele benzi de frecvenţă în care magnitudinea lui H  z  este mică (cu alte cuvinte
1 H  z  este mare). Drept urmare, în alegerea egalizorului W  z  se va încerca
realizarea unui echilibru între interferenţa reziduală ISI şi amplificarea zgomotului la
ieşirea egalizorului. Vom vedea mai târziu că filtrul Wiener poate reprezenta soluţia
acestei probleme.
 1.4 Aplicaţiile filtrelor adaptive 9

Figura 1.9 Sistem de transmisie a datelor în banda de bază echipat cu un egalizor adaptiv de
canal.

Figura 1.9 prezintă detaliile unui sistem de transmisiuni în banda de bază înzestrat
cu un egalizor adaptiv. Acesta este, de obicei, implementat sub forma unui filtru
transversal. Iniţial, egalizorul se găseşte în modul de învăţare (antrenare), utilizând
drept semnal dorit d  n  o replică întârziată a simbolurilor de date transmise, generată la
recepţie. Evident, secvenţa de antrenare este emisă şi de sursa de date, fiind utilizată
pentru adaptarea iniţială a ponderilor filtrului egalizor. Drept urmare, ieşirea
egalizorului va fi ideal identică cu simbolurile de date transmise. Simbolurile secvenţei
de învăţare sunt, de obicei, specificate prin standarde iar modemurile de date,
indiferent de producător, le respectă.
La sfârşitul modului de antrenare, coeficienţii egalizorului au valori apropiate de
valorile optimale. Simbolurile detectate sunt în acest moment similare cu simbolurile
transmise, probabilitatea acestui lucru fiind apropiată de unitate. În continuare prin
urmare, simbolurile detectate pot fi considerate că reprezintă semnalul dorit pentru
adaptarea în continuare a egalizorului astfel încât posibilele variaţii ale canalului să
poată fi urmărite. Acest mod de funcţionare a egalizorului este denumit mod orientat
pe decizie (decision oriented mode). Egalizorul poate funcţiona în modul orientat pe
decizie un timp îndelungat, de fapt, câtă vreme variaţiile de canal sunt suficient de
lente încât algoritmul adaptiv să poată să urmărească satisfăcător variaţiile canalului.

1.4.3 Predicţia lineară

În acest caz, filtrul adaptiv se foloseşte pentru a furniza cea mai bună predicţie
(estimare) a valorii actuale û  n a semnalului de intrare pe baza valorilor anterioare:
u  n  1 , u  n  2, , u  n  M  . În configuraţia de predicţie din Figura 1.10, operaţia pe
ieşirea 1 realizează un filtru al erorii de predicţie, iar dacă se operează ieşirea 2,
structura este un predictor.
Printre multiplele utilizări ale predicţiei vom spune în primul rând că este o tehnică
de estimare spectrală folosită la modelarea proceselor aleatoare corelate în scopul
determinării unei reprezentări parametrice a acestor procese. În contextul predicţiei
10 INTRODUCERE - 1

Figura 1.10 Filtrul adaptiv estimează valoarea curentă a semnalului

pe baza eşantioanelor "trecute" ale semnalului de intrare.
lineare, se utilizează modelul din Figura 1.11. În acest model, se presupune că procesul
aleator u  n este generat prin excitarea filtrului G  z  cu semnalul de intrare x  n .
Întrucât funcţia de transfer G  z  are numai poli (este de tip all-pole), modelul este
autoregresiv (AR). Tipul semnalului de excitaţie x  n depinde de aplicaţie şi poate
varia în funcţie de natura procesului modelat. Acesta este, de obicei, un zgomot alb.
Alte modele utilizate pentru reprezentarea parametrică sunt modelele cu medie
alunecătoare (MA) în care G  z  este un filtru transversal având numai zerouri (tip
all-zero) şi modelele autoregresive cu medie alunecătoare (ARMA) unde G  z  are
atât poli cât şi zerouri. Totuşi, modele AR sunt cele mai utilizate.
Vom da în continuare motivul utilizării extensive a modelelor AR. Dacă presupu-
nem că eşantioanele unui semnal aleator u  n sunt corelate între ele, aceste corelaţii
pot fi folosite pentru a face o predicţie asupra eşantionului curent u  n al procesului
aleator utilizând eşantioanele sale trecute: u  n  1 , u  n  2 , ,u  n  M  ca în Figura
1.12. Intuitiv, o astfel de predicţie se îmbunătăţeşte pe măsură ce lungimea predic-
torului M creşte. Totuşi, îmbunătăţirea poate deveni neglijabilă în momentul în care
M depăşeşte o anumită valoare, care depinde de lungimea corelaţiei în procesul dat. În
acel moment, eroarea de predicţie e  n  devine aproximativ zgomot alb. Să observăm
că funcţia de transfer dintre procesul de intrare u  n şi eroarea de predicţie e  n  este:
M
H  z   1   ai z i (1.5)
i 1

unde ai sunt coeficienţii predictorului. Acum, dacă un proces de zgomot alb x  n ce

are statistici similare cu e  n  este aplicat filtrului cu funcţia de transfer G  z  , unde:
M
G 1  z   1   ai z i (1.6)
i 1

Figura 1.11 Modelarea autoregresivă a unui proces aleator.

 1.4 Aplicaţiile filtrelor adaptive 11

u  n

M u  n e  n
a z
i 1
i
i

Figura 1.12 Predicţia lineară

ca în Figura 1.11, atunci semnalul de ieşire u  n va fi cu siguranţă un proces având

aceleaşi statistici cu u  n .
Pe baza celor discutate mai sus, suntem acum pregătiţi să prezentăm aplicaţii ale
predicţiei adaptive.
Analiza spectrală autoregresivă
Unele aplicaţii necesită estimarea spectrului de putere al unui proces aleator. În mod
obişnuit, o astfel de estimare se face prin calculul transformatei Fourier (transformarea
Fourier discretă – TFD - pentru procesele în timp discret) urmată, în scopul
îmbunătăţirii estimării, de o operaţie de mediere. O asemenea procedură de calcul se
încadrează în categoria tehnicilor de estimare spectrală neparametrice. Atunci când
numărul de eşantioane ale semnalului de analizat este redus, estimarea furnizată de
tehnicile neparametrice îşi pierde credibilitatea. În aceste cazuri estimarea spectrală
parametrică oferă rezultate mai sigure.
După cum s-a menţionat anterior, estimarea spectrală parametrică poate fi făcută
utilizând unul din modelele AR, MA sau ARMA prezentate anterior (Kay 1988). Vom
prezenta procedura de calcul pentru cazul în care se alege modelul AR. Astfel, se
începe prin alegerea unui ordin M adecvat pentru model. Secvenţa observată, u  n ,
este aplicată unei structuri de predicţie similară celei din Figura 1.12, a cărei coefi-
cienţi, ai sunt optimizaţi prin minimizarea erorii de predicţie e  n  . Odată procesul de
convergenţă al coeficienţilor predictorului terminat, o estimare a densităţii spectrale de
putere a lui u  n se obţine în conformitate cu ecuaţia de mai jos
2
1
 xx     N o (1.7)
1   i 1 ai e ji
M

unde N o este o estimare a puterii erorii de predicţie e  n  . Justificarea procedurii de

estimare rezultă din modelul din Figura 1.11 şi din faptul că după convergenţa
predictorului, e  n  este aproximativ un zgomot alb. Vom reveni pe parcursul lucrării la
această aplicaţie, prezentând implementarea ei prin algoritmul LMS.
12 INTRODUCERE - 1

Codarea vorbirii
Printre numeroasele tehnici de prelucrare a semnalului aplicate semnalului vocal,
predicţia lineară s-a dovedit cea mai promiţătoare, dând numeroşi algoritmi utili. De
fapt, mare parte din teoria predicţiei s-a dezvoltat în contextul prelucrării vorbirii.
Există două tehnici principale de codare a vorbirii care utilizează predicţia lineară
(Jayant şi Noll 1984). Scopul ambelor metode este reducerea numărului de biţi utilizaţi
la codare, determinând astfel economii în dimensiunea fişierelor memorate sau în
banda de semnal transmisă. Prima metodă care se încadrează în clasa codarea sursei,
urmăreşte producerea de voce digitală cu rate de biţi cuprinse între 2 şi 10 kb/s. Vocea
sintetizată nu este, totuşi, de calitate înaltă, pentru că „sună” sintetic şi pierde din
naturaleţe, făcând dificilă recunoaşterea vorbitorului. Cea de a doua tehnică, pe care o
încadrăm în clasa codarea semnalului, dă rezultate mult mai bune cu costul unei rate
de bit mai mari (tipic, 32 kb/s).
Principala cauză a utilizării pe scară largă a predicţiei lineare la codarea vorbirii
este că semnalele vocale pot fi precis modelate ca în Figura 1.13. Aici, filtrul all-pole
constituie modelul tractului vocal al vorbitorului. Excitarea pentru acest model, x  n ,
este sau zgomot alb în cazul sunetelor „surde” (consoane fricative ca s,f, etc) sau un
tren de impulsuri în cazul sunetelor „sonore” (vocale ca i). Durata trenului de impul-
suri, denumită durata tonului (în engleză, pitch period) precum şi puterea zgomotului
alb, denumită nivel de excitare, sunt parametrii modelului vorbirii care trebuie identifi-
caţi în procesul de codare.
Codarea predictivă lineară (LPC ~ Linear Predictive Coding). Vorbirea reprezintă un
proces profund nestaţionar. Forma tractului vocal este supusă la variaţii importante
pentru a genera diferitele sunete ce alcătuiesc fiecare cuvânt. Având în vedere acestea,
în LPC în scopul codării vorbirii, aceasta este partiţionată în segmente de 10 pâna la 30
ms lungime. Aceste segmente sunt suficient de scurte pentru ca forma tractului vocal să
rămână aproape staţionară pe durata lor, astfel ca parametrii modelului de producere a
vorbirii din Figura 1.13 să poată fi presupuşi fixaţi. În continuare, pentru obţinerea
parametrilor fiecărui segment, sunt urmaţi paşii de mai jos:
1. Se obţin, pentru segmentul dat, coeficienţii predictorului ai pe structura de filtru

Figura 1.13 Modelul de generare al vorbirii.

 1.4 Aplicaţiile filtrelor adaptive 13

adaptiv din Figura 1.12, în urma minimizării erorii de predicţie e  n  în sensul

celor mai mici pătrate.
2. Se măsoară energia erorii de predicţie e  n  . Aceasta stabileşte nivelul de excitare
ce este necesar la sinteza segmentului.
3. Se clasifică segmentul: „sonor” sau „surd”.
4. În cazul în care segmentul este „sonor”, se măsoară durata tonului pentru
segmentul considerat.
Pentru fiecare segment prelucrat sunt apoi memoraţi sau transmişi următorii parametri
ai vorbirii codate: (i) coeficienţii predictorului, (ii) energia semnalului de excitaţie, (iii)
clasificarea „sonor”/„surd” şi (iv) durata tonului, în cazul unui segment „sonor”. Pentru
refacerea semnalul vocal, aceşti parametri sunt utilizaţi pentru sinteză într-un model
similar cu cel din Figura 1.13.
Codarea semnalului. Cea mai directă cale de codare a semnalului este tehnica
modulaţiei impulsurilor în cod (PCM ~ Pulse Code Modulation), în care eşantioanele
de semnal vocal sunt convertite numeric direct într-un număr prescris de biţi in scopul
generării biţilor de informaţie asociaţi cu vorbirea codată. Cuantizarea directă a eşan-
tioanelor vocale necesită un număr relativ mare de biţi (de obicei 8 biţi pe eşantion)
pentru ca vorbirea originală să poată fi reconstruită la o calitate acceptabilă.
O modificare a modulaţiei PCM standard, cunoscută drept modulaţia impulsurilor
în cod diferenţială (DPCM ~ Differential PCM) foloseşte predictorul linear din Figura
1.12 şi utilizează biţii asociaţi cu eşantioanele cuantizate ale predicţiei de eroare e  n 
drept codare a vorbirii. Explicaţia este aici faptul că eroarea de predicţie e  n  are o
varianţă mult mai redusă decât intrarea filtrului u  n . Astfel, pentru un nivel de cuanti-
zare dat, e  n  poate fi reprezentat printr-un număr de biţi mai mic în comparaţie cu
reprezentarea semnalului original u  n . Drept urmare, rata de bit a modulaţiei DPCM
va fi mai mică în raport cu cea a modulaţiei PCM standard.
Filtrul de predicţie utilizat în DPCM poate fi fix sau poate fi făcut adaptiv. Un
sistem DPCM cu predictor adaptiv se numeşte de DPCM adaptiv (ADPCM ~ Adaptive
DPCM). În cazul semnalelor vocale, utilizarea modulaţiei ADPCM dă performanţe
mai bune decât modulaţia DPCM neadaptivă. De fapt, ADPCM a fost standardizată, iar
în practică se utilizează curent. (vezi Recomandarea ITU G.726).
Figura 1.14 prezintă schema bloc simplificată a unui sistem ADPCM, aşa cum este
propusă de Recomandarea ITU G.726. În acest caz, predictorul este un filtru recursiv
cu 6 zerouri şi 2 poli. Coeficienţii acestui filtru sunt ajustaţi adaptiv astfel încât eroarea
de cuantizare e  n să fie minimizată în sensul mediei pătratice. Intrarea predictorului,
u  n , este identică cu semnalul de intrare original cu excepţia erorii de cuantizare din
e  n . Pentru a înţelege funcţionarea comună a codorului şi decodorului din Figura
1.14, vom remarca că la intrările predictoarelor din codor şi decodor se aplică acelaşi
14 INTRODUCERE - 1

Figura 1.14 Codor-decodor ADPCM

semnal e  n . Prin urmare, dacă stabilitatea buclei alcătuite din predictor şi algoritmul
de adaptare ar putea fi garantată, atunci valoarea de regim permanent a vorbirii
reconstruite la decodor, adică u ' n , va fi egală cu acea de la codor, u  n , pentru că
efectul condiţiilor iniţiale ale buclelor codorului şi decodorului care nu sunt egale va
dispărea după o fază tranzitorie.

1.4.4 Anularea interferenţelor

Anularea interferenţelor se referă la situaţiile în care se cere să se elimine un
semnal/zgomot perturbator dintr-un semnal dat care este alcătuit atât dintr-o parte utilă
cât şi din perturbaţie. Principiul suprimării interferenţelor este de a se realiza o estimare
a semnalului perturbator, care apoi să fie extrasă din semnalul corupt de perturbaţie.
Fezabilitatea acestei idei se bazează pe disponibilitatea unei surse de referinţă cu care
semnalul perturbator să fie corelat.
Figura 1.15 descrie, în cea mai simplă formă, conceptul de anulare a interferen-
ţelor. Sistemul de anulare a interferenţelor are două intrări: intrarea primară şi intrarea
de referinţă. La intrarea primară se aplică semnalul corupt, adică semnalul dorit plus
interferenţa. Semnalul de pe intrarea de referinţă, pe de altă parte, provine numai de la
sursa care generează interferenţa. Filtrul adaptiv se ajusteasă astfel încât la ieşirea sa să
apară o replică a interferenţei prezente în semnalul primar. Prin extragerea acestei

Figura 1.15 Anularea interferenţelor.

 1.4 Aplicaţiile filtrelor adaptive 15

replici din semnalul primar rezultă o ieşire curăţată de interferenţe, ceea ce explică
numele de anulare a interferenţelor dat acestui tip de aplicaţie (Farhang-Boroujeny
1998).
Configuraţia de anulare a interferenţei din Figura 1.15 este diferită de cazurile
anterioare de aplicaţii ale filtrării adaptive, în sensul că eroarea reziduală (care în cele-
lalte cazuri era eliminată) este aici semnalul curăţat de perturbaţii. Semnalul dorit din
cazurile anterioare este înlocuit aici de o versiune zgomotoasă (coruptă) a semnalului
dorit. Mai mult, utilizarea termenului “referinţă” pentru a desemna intrarea filtrului
adaptiv este legată direct de rolul acestei intrări în aplicaţie.
Anularea ecoului pe liniile telefonice
Un ecou este versiunea întârziată şi distorsionată a unui semnal original care se întoar-
ce spre sursa sa. În unele aplicaţii (radar, sonar sau ultrasunete), ecoul reprezintă
semnalul util; însă, în comunicaţii, ecoul este un semnal nedorit care trebuie eliminat.
Există două tipuri de ecou în sistemele de comunicaţii: (i) ecouri electrice sau de linie,
care sunt generate electric datorită neadaptării de impedanţă de-a lungul mediului de
transmisie, şi (ii) ecouri acustice, care se datorează reflexiei undelor acustice şi cuplajul
acustic dintre microfon şi difuzor.
În continuare vom discuta despre eliminarea ecourilor electrice în comunicaţiile de
date, urmând ca despre anularea ecourilor acustice în aplicaţiile de tip teleconferinţă să
discutăm în paragraful următor.
Ecouri electrice pot fi observate pe legăturile telefonice de mare distanţă. Figura
1.16 face o reprezentare simplificată a unui asemenea circuit. Conexiunea utilizatorului
la centrala telefonică constă dintr-un circuit cu două fire bidirecţional, în timp ce legă-
tura dintre centralele telefonice se face pe patru fire, ceea ce include toate tipurile de
conexiuni, inclusiv legătura prin satelit. Trecerea de la circuitele pe două fire la circui-
tele pe patru fire se realizează prin circuite speciale denumite hibrizi sau transforma-
toare diferenţiale (în engleză, hybrids). Un hibrid ideal permite (i) trecerea semnalului
de intrare către ieşirea pe două fire fără vreo atenuare pe portul de ieşire şi (ii) trecerea
semnalului de la circuitul pe două fire către portul său de ieşire fără reflexie. În
practică, datorită neadaptărilor de impedanţă, hibrizii nu funcţionează perfect. Drept
urmare, o parte din energia de intrare în circuit se întoarce către sursă ca un ecou (vezi
Figura 1.16). Ecoul, care, de obicei, este mai mic cu 11 dB în raport cu semnalul

Figura 1.16 Generarea ecoului în reţelele de comunicaţii de lungă

distanţă.
16 INTRODUCERE - 1

Figura 1.17 Principiul anulării adaptive a ecoului.

original, face dificilă purtarea unei conversaţii, dacă întârzierea dus-întors depăşeşte 40
ms. În cazul legăturilor prin satelit, datorită plasării sateliţilor la altitudini mari, aceste
întârzieri ating 500-600 ms.
Suprimarea ecoului s-ar putea efectua pe baza estimării transmisiei semnalului de
la punctul C la punctul D (vezi Figura 1.17). Dacă funcţia de transfer a ecoului este
cunoscută, ar putea fi realizat un filtru care să producă o copie (sau replică a semna-
lului ecou pornind de la semnalul din punctul C. Scăderea replicii ecoului din semnalul
din punctul D îl va elimina fără să distorsioneze semnalul din B care poate fi prezent în
punctul D. Rezultă configuraţia de anulare adaptivă a ecoului prezentată în Figura 1.17.
În practică, caracteristicile canalului nu sunt în general cunoscute. Pentru legăturile
telefonice pe fir, canalele diferă de la convorbire la convorbire, iar caracteristicile cana-
lelor radio sau de microunde se modifică semnificativ în timp. Prin urmare, nu se poate
realiza un circuit fix de anulare a ecoului cu performanţe satisfăcătoare pentru orice
conexiune posibilă. Există două căi posibile de rezolvare a problemei:
1. Realizarea unui circuit de anulare a ecoului fix „de compromis” bazat pe o „medie”
a căii de ecou, presupunând că există suficiente informaţii despre conexiunile pe
care le poate vedea acesta.
2. Realizarea unui circuit de anulare a ecoului adaptiv care poate „învăţa” caracteristi-
cile căii de ecou atunci când este pornit, iar după aceea, poate urmări variaţiile
acestora, fără vreo intervenţie suplimentară din exterior. Pentru că un filtru adaptiv
se adaptează mai bine la caracteristicile variabile ale căi de ecou, rezultatele sunt
mai bune decât cele obţinute cu un circuit fix de anulare a ecoului reglat pe bază de
compromis.
Vom sublinia că principala sarcină a circuitului de anulare este de a estima semna-
lul de ecou cu suficientă precizie; estimarea funcţiei de transfer a ecoului este doar
calea prin care se realizează acest scop. Performanţa circuitului se măsoară prin atenua-
rea în decibeli a ecoului, parametru care este cunoscut sub numele de creşterea atenuă-
rii de ecou. Filtrul adaptiv realizează acest scop prin modificarea răspunsului său, utili-
zând semnalul rezidual de ecou, aşa cum am arătat mai sus.
Circuitele de anulare a ecoului sunt utilizate pe scară largă în telecomunicaţiile
vocale, iar organizaţia de standardizare internaţională CCITT a emis setul de
 1.4 Aplicaţiile filtrelor adaptive 17

Figura 1.18 Sistem tipic de teleconferinţă fără controlul ecoului acustic.

recomandări CCITT G. 165 care subliniază caracteristicile fundamentale ale acestor

dispozitive.
Anularea ecoului acustic
Figura 1.18 prezintă un sistem audio tipic de teleconferinţă care ajută două grupuri de
persoane, localizate în două locuri diferite, să comunice efectiv. Din nefericire, perfor-
manţa acestui sistem este degradată de următoarele efecte:
1. Reverberaţiile camerei datorate faptului că microfonul culege nu numai sunetele
vorbitorului dar şi reflexiile pe pereţii şi obiectele din cameră.
2. Ecourile create de cuplajul acustic dintre microfonul şi difuzorul plasate în aceiaşi
încăpere. Sunetele din camera B nu sunt ascultate numai de vorbitorul din camera
A, dar sunt de asemenea, preluate de microfonul din camera A şi, dacă nu există un
mecanism de eliminare, returnate ca ecou vorbitorului din camera B.
Sunt utilizate filtre transversale de lungime suficientă pentru a modela acustica
celor două încăperi (vezi Figura 1.19). Acestea furnizează o replică a ecoului la
difuzor, care este, în continuare scăzută din semnalul microfonului înainte de
transmisia acestuia.
Evident că problema anulării acustice a ecoului, poate fi privită ca o problemă de
modelare de sistem. Principala provocare aici este împrăştierea căilor de ecou pe o
durată relativ importantă. Pentru camerele obişnuite, întârzierea ecourilor este în gama
100-250 ms. La o frecvenţă de eşantionare de 8 kHz, aceasta înseamnă că filtrul
adaptiv de anulare ar trebui să aibă 800-2000 de celule. Prin urmare, adevărata
problemă a anulării ecoului, nu numai în cazul acustic, este cea a implementării unor

Figura 1.19 Principiul anulării acustice a ecoului prin utilizarea filtrării adaptive.
18 INTRODUCERE - 1

Figura 1.20 Exemplu de filtrare spaţială şi caracteristica de directivitate realizată.

filtre adaptive foarte lungi. Pe parcursul lucrării, vom vedea cum pot fi depăşite aceste
dificultăţi.

1.5 Filtrarea spaţială

În aplicaţiile prezentate anterior, filtrele sau predictoarele combină eşantioane ale
semnalului de intrare, culese la momente de timp diferite, în scopul generării unui
semnal de ieşire. Aceste fac, evident, filtrare temporală. Un beamformer care prelu-
crează prin combinare semnalele furnizate de o reţea de antene egal distanţate (vezi
paragraful 1.2), este diferit de acestea în sensul că intrările sunt eşantioane ale semna-
lelor recepţionate în diferite puncte din spaţiu. Acesta este motivul pentru care acţiunea
acestuia o numim filtrare spaţială. Beamformer-ul şi-a găsit aplicaţii în comunicaţii,
radar şi sonar (Johnson şi Dudgeon 1993) dar şi în ingineria medicală (Soumekh 1994).
În filtrarea spaţială, un număr de senzori independenţi sunt plasaţi egal distanţaţi pe
o linie în scopul de a recepţiona semnalele provenind de la surse diverse (vezi Figura
1.20). În radiolocaţie şi comunicaţii, semnalele sunt unde electromagnetice iar senzorii
sunt elemente de antenă. Prin urmare termenul de reţea de antene se referă la aceste
situaţii. În aplicaţiile de tip sonar, senzorii sunt hidrofoane, care răspund la unde
acustice.
Reţeaua de senzori eşantionează spaţial undele incidente astfel încât în cazul unor
senzori egal distanţaţi, avem o eşantionare la incremente spaţiale egale. Prin contrast,
un filtru FIR utilizează drept intrare, un semnal eşantionat uniform în timp. Să consi-
derăm o undă plană incidentă pe o reţea de antene ca în Figura 1.21. Semnalul spaţial
soseşte la fiecare senzor cu o întârziere determinată de unghiul de sosire  . În cazul
unui semnal de bandă îngustă, această întârziere corespunde unei defazări egale de la
senzor la senzor ceea ce corespunde frecvenţei spaţiale u de-a lungul reţelei:
d
u sin  (1.8)

unde  este lungimea de undă a semnalului şi d este distanţa uniformă dintre senzori.
Această frecvenţă spaţială este analoagă frecvenţei temporale întâlnită în cazul semna-
lelor în timp discret. În funcţionarea filtrului spaţial, semnalele senzorilor sunt multipli-
cate cu ponderile corespunzătoare exact în maniera în care un filtru FIR produce
semnalul de ieşire ca o sumă ponderată a eşantioanelor de timp ale intrării. Exact aşa
cum un filtru selectiv în frecvenţă FIR extrage din semnalul de intrare, banda de
 1.5 Filtrarea spaţială 19

Figura 1.21 Undă incidentă pe o reţea de

antene distanţate uniform cu d.

frecvenţă de interes, un beamformer caută să amplifice semnalele cu o anumită

frecvenţă spaţială (adică, semnalele ce sosesc sub un anumit unghi). Astfel, este bene-
fic să privim un filtru spaţial ca un filtru selectiv de frecvenţă spaţială.
De multe ori o reţea de antene are de a face cu semnale nedorite ce sosesc din dife-
rite direcţii, ceea ce poate preveni extragerea cu succes a semnalului de interes pentru
care reţeaua este proiectată. În acest caz, reţeaua trebuie să-şi ajusteze răspunsul la
datele recepţionate pentru a rejecta semnalele nedorite. Rezultă o reţea adaptivă de
antene având ponderile determinate automat pe baza semnalelor recepţionate fără inter-
venţia utilizatorului. Ca şi în cazul filtrelor adaptive selective în frecvenţă, dacă pot fi
modelate statistic condiţiile de funcţionare a reţelei adaptive atunci poate fi găsit un
beamformer optimal care să minimizeze sau să maximizeze un anumit criteriu de
performanţă.
Vom prezenta în continuare o aplicaţie a filtrării spaţiale adaptive în domeniul
suprimării adaptive a lobilor laterali din radiaţia unei antene de radiolocaţie
(Manolakis, ş.a. 2005) (vezi Figura 1.22). Pe direcţia ţintei este îndreptată o antenă
neadaptivă cu câştig mare şi fix, sau chiar un beamformer neadaptiv. În caz de interfe-
renţă, aceasta trebuie eliminată, sau cel puţin redusă într-un anumit fel. Sistemul de
radiolocaţie înlătură interferenţa de pe canalul principal prin metode adaptive spaţiale.
Una dintre aceste metode constă în suprimarea adaptivă a lobilor laterali ai antenei de
radiolocaţie ilustrată în Figura 1.23.
Vom remarca că semnalul de interes este recepţionat dintr-o direcţie particulară pe
care presupunem că antena are prin canalul să principal o amplificare mare. Pe de altă
parte, interferenţele sunt recepţionate de pe o altă direcţie, dar pentru că sunt de putere
mai mare decât semnalele utile, le „maschează” pe acestea. Suprimarea lobilor laterali
utilizează unul sau mai multe dintre canalele secundare ale antenei radar pentru a anula
interferenţa de pe canalul principal, astfel încât semnalele utile să poată fi recepţionate
în condiţii bune. Aceste canale auxiliare au, tipic, un câştig mai redus pe direcţia pe
care este îndreptat canalul principal al antenei, astfel încât ele conţin numai interfe-
20 INTRODUCERE - 1

Figura 1.22 Exemplu de beamformer adaptiv utilizat de un

radar de supraveghere aeriană pentru atenuarea
interferenţelor.
renţe. Astfel de canale auxiliare sunt realizate cu senzori omnidirecţionali. Este evident
că această aplicaţie face parte din categoria aplicaţiilor prezentate în paragraful 1.4.4
care se referă la anularea interferenţelor.
Suprimarea lobilor laterali utilizează canalele auxiliare ale antenei radar pentru a
forma o estimare a interferenţei de pe canalul principal. Estimarea este calculată prin
ponderarea canalelor auxiliare pe baza calculării intercorelaţiei dintre canalele auxiliare
şi canalul principal. Estimarea interferenţei este extrasă din semnalul de pe canalul
principal. Rezultă un răspuns global al antenei ce are pe de-o parte un nul îndreptat pe
direcţia sursei de perturbaţii, iar pe de alta, câştig maxim pe direcţia de interes. Evident
că dacă există suficientă informaţie apriori, problema ar putea fi rezolvată prin utili-
zarea unui circuit fix de anulare. Totuşi, lipsa informaţiilor apriori şi caracteristicile
variabile ale mediului fac din sistemul adaptiv singura soluţie viabilă.

Figura 1.23 Sistem de anulare a lobilor laterali ai antenei radar cu

un canal directiv principal şi canale auxiliare.
 2
Capitolul

2 Semnale şi sisteme în
timp discret
relucrarea adaptivă a semnalelor se face atât cu circuite sau sisteme analogice

P (Carusone şi Johns 2000) cât şi digital. De fapt, imensa majoritate a filtrelor adaptive
sunt implementate digital, datorită beneficilor evidente pe care le oferă această
abordare: flexibilitate şi precizie în calcule (Haykin 1996). Acesta este motivul, pentru care
în această lucrare, ne vom limita la a aborda doar problemele semnalelor şi sistemelor în
timp discret.
Vom folosi prezentul capitol pentru a reaminti cititorilor noştri unele din principiile şi
proprietăţile fundamentale ale secvenţelor de numere variabile care reprezintă funcţii de
timp eşantionate uniform. În primul rând, vom avea în vedere modalităţile utilizate pentru
trecerea de la reprezentarea semnalului în domeniul timp discret în domeniul frecvenţă, ceea
ce oferă utilizatorului o altă imagine asupra secvenţei transformate. Sunt utilizate în cazul
nostru atât transformata Z (de variabilă complexă) cât şi transformata Fourier în timp discret
(DFT), ce poate fi considerată un caz particular al celei dintâi şi care este o funcţie de
variabilă reală (frecvenţa) (Naforniţă, ş.a. 1995, Oppenheim, ş.a. 1998).
După scurta trecere în revistă a proprietăţilor secvenţelor discrete şi a transformatelor
lor, vom aborda şi câteva subiecte mai evoluate din aceiaşi arie de interes, utile în abordarea
unor tehnici de filtrare adaptivă particulare (implementarea convoluţiilor prin transformarea
DFT şi transformarea cosinus discretă).

2.1 Transformarea Z
Considerăm seria temporală alcătuită din eşantioanele u  n , u  n  1, u n  2, , unde n
reprezintă timpul discret. Vom utiliza în continuare notaţia simplă u  n pentru a desemna
această secvenţă. Transformata Z a secvenţei u  n se defineşte prin:

U  z   Z u  n   u  n z n
(2.1)
n 
22 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2

unde z este o variabilă complexă. Secvenţa u  n şi transformarea sa Z constituie o pereche

de transformate Z, ceea ce, simbolic, se scrie astfel:
u  n U  z (2.2)
Pentru ca transformata Z să fie definită, seria de puteri (2.1) trebuie să fie absolut
sumabilă, ceea ce face ca U  z  să fie uniform convergentă. Regiunea de convergenţă (RC)
este setul de valori ale lui z pentru care transformata Z, U  z  , este uniform convergentă.
În regiunea de convergenţă circulară a lui U  z  : R1  z  R2 , considerăm un contur
închis C ce înconjoară originea, pe care se calculează formula de inversare a transformatei
Z:
1 dz
u  n  U z z
2 j C
n
(2.3)
z
unde conturul de integrare este parcurs în sens invers acelor ceasornicului.

2.2 Proprietăţile transformării Z

Reamintim în continuare proprietăţi importante ale transformării Z, care sunt utilizate
frecvent în restul lucrării:
1. Este o transformare lineară. Fie a, b şi u1  n , u2  n - două secvenţe ce au transfor-
matele Z, U1  z  respectiv U 2  z  . Atunci:
au1  n  bu2  n aU1  z   bU 2  z  (2.4)
RC în care relaţia (2.4) este valabilă este dată de intersecţia RC a lui U1  z  cu RC a lui
U2  z  .
2. Proprietatea deplasării în timp. Dacă transformarea Z a secvenţei u  n este U  z  ,
atunci perechea Z a secvenţei deplasate în timp u  n  n0  , este dată prin relaţia
u  n  n0  z  n0U  z  (2.5)
unde n0  . Transformarea obţinută prin relaţia (2.5) păstrează aceiaşi RC cu U  z  ,
cu excepţia adăugării sau eliminării punctelor z  0 sau z   . În cazul special n0  1
se observă că transformarea Z a lui u  n se multiplică cu z 1 , ceea ce justifică numele
de element de întârziere unitară pe care îl poartă termenul z 1 .
3. Teorema convoluţiei. Notăm prin U1  z  şi U 2  z  transformatele Z ale secvenţelor
u1  n respectiv u2  n . Potrivit teoremei convoluţiei
 2.3 Sisteme lineare invariante în timp (SLIT) 23


u1  n  u2  n   u i   u  n  i 
1 2 U1  z   U 2  z  (2.6)
i 

unde RC include intersecţia RC a celor două secvenţe. Prin urmare, convoluţia a două
secvenţe din domeniul temporal se transformă în domeniul frecvenţă în produsul
transformatelor lor Z.

2.3 Sisteme lineare invariante în timp

(SLIT)
Vom trece în revistă, în continuare, principiile de bază ale SLIT, subliniind aspectele ce
prezintă importanţă pentru lucrarea de faţă. În conformitate cu scopurile pe care le urmărim,
un sistem se defineşte ca un dispozitiv fizic sau algoritm care transformă un semnal,
denumit semnal de intrare sau excitaţie, într-un alt semnal denumit semnal de ieşire sau
răspuns.
Un sistem linear invariant în timp (SLIT) este caracterizat prin proprietăţile de lineari-
tate şi invarianţă în timp:
1. Linearitatea: Fie v1  n şi v2  n , două excitaţii diferite aplicate la intrarea sistemului.
Notăm prin u1  n şi u2  n răspunsurile sistemului la aceste excitaţii. Atunci răspunsul
sistemului la excitaţia av1  n  bv2  n este secvenţa au1  n  bu2  n , a, b  .
2. Invarianţa în timp: Dacă u  n este răspunsul unui sistem invariant în timp la excitaţia
v  n , atunci răspunsul filtrului la excitaţia v  n  n0  este u  n  n0  , unde n0 este o
întârziere arbitrară.
Pentru caracterizarea SLIT se foloseşte răspunsul la impuls definit drept răspunsul
sistemului la un impuls unitar aplicat la momentul 0 la intrare, notat prin h  n . În aceste
condiţii, răspunsul SLIT la o excitaţie oarecare v  n se defineşte prin suma de convoluţie:

u  n   h i  v  n  i   h  n   v  n  (2.7)
i 

Aplicarea teoremei convoluţiei ecuaţiei (2.7) conduce la:

U  z   H  z V  z  (2.8)
În ultima ecuaţie, U  z  şi V  z  reprezintă transformatele Z ale semnalelor de la ieşirea şi
intrarea sistemului. H  z  , transformata Z a lui h  n , este denumită funcţie de transfer a
sistemului. Aceasta constituie o bază de descriere a SLIT şi se defineşte prin
U  z
H  z  (2.9)
V  z
24 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2

Astfel, funcţia de transfer H  z  este egală cu raportul dintre transformata Z a semnalului de

ieşire şi transformata Z a semnalului de intrare.
O importantă subclasă a SLIT este constituită din sistemele descrise prin ecuaţii cu
diferenţe finite. În general, un asemenea sistem satisface o ecuaţie cu diferenţe de ordinul N:
N N

 a j u n  j    b j v n  j 
j 0 j 0
(2.10)

unde a j şi b j sunt coeficienţi constanţi. Aplicând transformata Z ecuaţiei (2.10), funcţia de

transfer se exprimă ca o funcţie raţională:
N

 1  c z 
N

U  z
a z j
j

a0 k
1

H  z 
j 0
  k 1
(2.11)
V  z
 1  d 
N N

b z j b0 1
j k z
j 0 k 1

Ultima expresie evidenţiază următoarele:

a. fiecare factor 1  ck z 1  dă un zero în z  ck ,

b. fiecare factor 1  d k z 1  dă un pol în z  d k şi un zero în z  0 ,

c. cu excepţia factorului de scară a0 b0 , H  z  este complet definită de polii şi

zerourile sale.
Reprezentarea SLIT prin relaţia (2.11), ne permite să diferenţiem două tipuri distincte
de SLIT:
Sisteme FIR (Finite Impulse Response – cu răspuns finit la impuls): dk  0, k . Sunt
sisteme numai cu zerouri pentru că polii lui H  z  se găsesc toţi în z  0 . În mod corespun-
zător, h  n are durată finită. Sunt sisteme cu răspuns de durată finită la impuls unitar, ceea
ce este precizat în denumire.
Sisteme IIR (Infinite Impulse Response – cu răspuns infinit la impuls): H  z  are cel
puţin un pol nenul, ce nu este anulat de un zero. În consecinţă, h  n are durată infinită: filtru
cu răspuns infinit la impuls. Dacă toţi coeficienţii ck sunt nuli, avem de a face cu un filtru ce
are numai poli (all-pole filter), pentru că toate zerourile sale sunt în z  0 .
Figura 2.1 prezintă un exemplu de filtru FIR iar Figura 2.2 descrie structura unui filtru
particular IIR, filtrul all-pole. Săgeţile etichetate cu z 1 reprezintă elemente de întârziere
unitară, iar săgeţile ce sunt desemnate prin a1 , a2 , , aM sunt coeficienţii filtrelor. De
remarcat că structura filtrului FIR din Figura 2.1 nu include bucle de reacţie inversă spre
deosebire de filtrul IIR din Figura 2.2 care este alcătuit numai din astfel de bucle. În ambele
cazuri, blocurile funcţionale din componenţa celor două filtre sunt elemente de întârziere,
multiplicatoare şi sumatoare.
 2.4 Cauzalitate şi stabilitate 25

Figura 2.1 Filtru cu răspuns finit la impuls (FIR).

2.4 Cauzalitate şi stabilitate

Un SLIT este cauzal dacă excitaţia precede întotdeauna răspunsul. Cu alte cuvinte:
h  n  0 pentru n  0 (2.12)
Un sistem ce operează în timp real trebuie să fie cauzal. Totuşi cauzalitatea nu este
necesară pentru realizabilitate fizică, pentru că în foarte multe aplicaţii semnalul de prelucrat
este memorat. În aceste cazuri sistemul poate fi noncauzal şi totuşi fizic realizabil.
Un SLIT este stabil dacă răspunsul este limitat în amplitudine pentru toate excitaţiile de
intrare limitate (stabilitate IMEM – intrări mărginite, ieşiri mărginite). Condiţia necesară şi
suficientă pentru stabilitate IMEM se deduce simplu din (2.7):


 h  n  
k 
(2.13)

Cu alte cuvinte: Răspunsul la impuls al filtrului trebuie să fie absolut sumabil.

Cauzalitatea şi stabilitatea nu sunt în mod necesar cerinţe compatibile. Pentru ca un
SLIT definit prin (2.10) să fie atât stabil cât şi cauzal, RC a funcţiei de transfer H  z 
trebuie să satisfacă două cerinţe (Naforniţă, ş.a. 1995):
1. Să fie plasată în exteriorul celui mai mare pol al lui H  z  .
2. Să includă cercul de rază unitate.

Figura 2.2 Filtru IIR all-pole.

26 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2

Figura 2.3 Definirea regiunii de conver-

genţă a unui SLIT stabil şi
cauzal.

Cerinţele pot fi satisfăcute numai şi numai dacă toţi polii lui H  z  se găsesc în interiorul
cercului de rază unitate (vezi Figura 2.3). Nu există în schimb restricţii relativ la poziţia
zerourilor.

2.5 Sisteme de fază minimă

Cercul de rază unitate joacă un rol critic nu numai în legătură cu stabilitatea unui filtru
cauzal ci şi în ceea ce priveşte evaluarea răspunsului în frecvenţă. Înlocuind z  e j în
expresia funcţiei de transfer H  z  se obţine răspunsul în frecvenţă al filtrului:

H     H  e j   H  e j   e
  
j arg H e j
(2.14)
Recunoaştem în ultima expresie cele două funcţii reale utilizate pentru caracterizarea
comportării în frecvenţă a SLIT: amplificarea, H  e j  şi răspunsul de fază sau defa-

 
zarea, arg H  e j  .
SLIT de fază minimă sunt o clasă specială de filtre ale căror amplificări şi funcţii de fază
sunt legate unic între ele, astfel încât dacă este dată una dintre funcţii, cealaltă poate fi
stabilită în mod unic. Un filtru de fază minimă îşi ia numele de la faptul că pentru o funcţie
de amplificare dată, răspunsul de fază este minim posibil pentru toate valorile z de pe cercul
unitate.
Pentru ca un SLIT să fie de fază minimă se impun restricţii asupra poziţiei zerourilor
funcţiei de transfer a filtrului H  z  şi anume:
1. zerourile lui H  z  pot fi plasate în interiorul şi pe circumferinţa cercului
unitate;
2. zerourile de pe cercul unitate trebuie să fie simple.
 2.7 Transformarea Fourier discretă 27

Un SLIT de fază minimă cu funcţie de transfer H  z  admite un sistem invers având

funcţia de transfer 1 H  z  şi care este stabil şi cauzal cu condiţia ca H  z  să nu aibă
zerouri pe cercul unitate. Conectate în cascadă, perechea de filtre H  z  şi 1 H  z  are
funcţia de transfer egală cu unitatea.

2.6 Transformarea Fourier în timp discret

Un semnal în timp discret u  n se încadrează în categoria semnalelor de modul sumabil
dacă satisface condiţia


 u  n  
k 
(2.15)

În cazul semnalelor ce îndeplinesc condiţia (2.15), se observă imediat că RC a transformatei

lor Z include circumferinţa cercului de rază unitate, întrucât în punctele de pe acest cerc
caracterizate prin z  1 unde z  e j ,  , suma de definiţie din (2.1) şi integrala din
(2.3) sunt convergente.
Reluând calculul relaţiilor ce definesc transformarea Z pe conturul z  e j , se obţine:

U  z  z  e j  U  e j   U     u  n e  jn
(2.16)
n 

U  e jn e jn d 
1 
u  n
2 
şi (2.17)

Sunt ecuaţiile ce definesc transformarea Fourier în timp discret directă respectiv,

transformarea Fourier în timp discret inversă. Ca şi în cazul transformării Z, secvenţa u  n
şi transformarea ei U    constituie perechea de transformări Fourier în timp discret:
u  n U   (2.18)
Cu precizarea că transformarea Fourier în timp discret a unei secvenţe există numai
dacă secvenţa îndeplineşte condiţia (2.15), aceasta poate fi obţinută direct din transformarea
Z a secvenţei prin schimbarea de variabilă z  e j . Cu această precizare, toate relaţiile
scrise anterior pentru transformate Z îşi găsesc un echivalent direct în transformarea Fourier
în timp discret.

2.7 Transformarea Fourier discretă

Pentru o secvenţă în timp discret de durată finită se poate utiliza în scopul descrierii sale în
domeniul frecvenţă transformarea Fourier discretă (Discrete Fourier Transform – DFT).
Ca şi secvenţa temporală, DFT este la rândul său alcătuit dintr-o secvenţă de eşantioane,
uniform distanţate în frecvenţă. Transformarea Fourier discretă s-a impus în prelucrarea
digitală a semnalelor ca un instrument puternic şi indispensabil pentru că există o serie de
28 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2

algoritmi eficienţi de calcul al acesteia, cunoscuţi sub numele generic de transformarea

Fourier rapidă (Fast Fourier Transform – FFT).
Fie o secvenţă de durată finită u  n , alcătuită din N eşantioane. Atunci transformata
DFT a lui u  n se defineşte prin
N 1 2 kn
j
U  k    u  n e N
, k  0,1, , N 1 (2.19)
n0

Transformarea Fourier discretă inversă (IDFT) a lui U  k  este dată de:

2 kn
1 N 1
u  n    
j
U k e N
, n  0,1, N 1 (2.20)
N k 0
De remarcat că atât secvenţa originală u  n cât şi transformata ei Fourier U  k  au aceiaşi
lungime, N . Prin urmare, vom spune despre transformarea Fourier discretă că este „DFT în
N puncte.”
Transformarea Fourier discretă poate fi descrisă prin intermediul transformării Z; ea
poate fi obţinută evaluând transformarea Z a aceleiaşi secvenţe în N puncte uniform
2 k
j
distanţate de pe cercul de rază unitate din planul z : zk  e N
, k  0,1, , N 1 .
Deşi secvenţa u  n şi transformata ei DFT U  k  sunt definite ca secvenţe „de lungime
finită”, în realitate ambele reprezintă câte o singură perioadă din nişte secvenţe periodice.
Această dublă periodicitate nu este decât o consecinţă a eşantionării atât în timp cât şi în
frecvenţă a unui semnal în timp continuu.

2.8 Implementarea convoluţiei cu ajutorul

transformării DFT
Natura „dublu periodică” a transformării Fourier discrete, îi conferă acesteia unele proprie-
tăţi ce o deosebesc de transformarea Fourier. În particular, convoluţia lineară a două secven-
ţe, să spunem h  n şi v  n , presupune să înmulţim una dintre ele cu versiunea inversată în
timp şi deplasată a celeilalte secvenţe, iar apoi să însumăm produsele h i  v  n  i  pentru
toate valorile lui i ca în ecuaţia (2.7). Prin contrast, în cazul transformării DFT se realizează
o convoluţie circulară, în care cea de a doua secvenţă este inversată în timp şi deplasată
circular în raport cu prima secvenţă. Cu alte cuvinte, în convoluţia circulară, ambele
secvenţe au lungimea N (sau mai mică) iar secvenţele sunt deplasate modulo N . Numai
dacă convoluţia este definită ca mai sus, convoluţia a două secvenţe în domeniul timp se
transformă în produsul transformatelor lor Fourier discrete în domeniul frecvenţă.
Reformulând altfel această proprietate spunem că dacă multiplicăm transformatele DFT a
două secvenţe finite iar apoi calculăm transformarea Fourier discretă inversă a produsului,
 2.8 Implementarea convoluţiei cu ajutorul transformării DFT 29

rezultatul astfel obţinut este echivalent cu convoluţia circulară a celor două secvenţe
originale.
Având în vedere diferenţa marcantă dintre convoluţia circulară şi convoluţia lineară, se
pune problema modului în care poate fi utilizată transformarea DFT pentru a se calcula
convoluţia lineară. Pentru a ilustra modul în care poate fi aceasta realizată, vom considera
două secvenţe discrete v  n şi h  n de lungimi L , respectiv P . Convoluţia lineară a aces-
tor două secvenţe este o secvenţă finită de durată L  P  1 . Observând faptul că prin
convoluţia a două secvenţe periodice se obţine o altă secvenţă periodică de aceiaşi perioadă,
putem proceda după cum urmează:
 Se adaugă un număr corespunzător de eşantioane nule la v  n şi h  n astfel încât
fiecare dintre cele două secvenţe să devină secvenţe de N puncte, unde
N  L  P  1 ; acest proces poartă numele de zero padding.
 Se calculează transformatele Fourier discrete în N puncte a versiunilor adăugite
ale secvenţelor v  n şi h  n , se multiplică apoi transformările DFT şi în final se
calculează transformarea DFT inversă a produsului.
 Se foloseşte o perioadă a convoluţiei circulare astfel calculate drept convoluţie
lineară a secvenţelor originale v  n şi h  n .
Procedura descrisă înainte, funcţionează perfect în cazul secvenţelor de durată finită.
Dar cum pot fi rezolvate aplicaţiile de filtrare lineară care presupun, din raţiuni practice, că
semnalul de intrare este de durată infinită? În situaţii de acest fel, se poate recurge la două
procedee larg utilizate, ce sunt descrise mai departe.

2.8.1 Metoda Overlap-Add (Suprapune şi însumează)

Cea mai bună cale de a explica metoda Overlap-Add este de a recurge la un exemplu. Să
considerăm secvenţele v  n şi h  n din Figura 2.4; vom presupune că secvenţa v  n este de
lungime „infinită” iar secvenţa h  n are o lungime oarecare P finită. Se începe prin a
secţiona secvenţa v  n în blocuri adiacente dar care nu se suprapun ca în Figura 2.5, fiecare
bloc fiind de lungime Q  N  P , unde N are o lungime prestabilită. Semnalul poate fi
reprezentat în acest caz prin suma unor secvenţe deplasate de lungime finită:

v  n   vr  n (2.21)
r 0

unde
v  n  rQ  , n  0,1, ,Q 1
vr  n   (2.22)
0, în rest
În continuare, fiecărei secţiuni i se adaugă câte P  1 eşantioane nule în scopul
completării unei perioade a secvenţei periodice de lungime N , cum prezintă Figura 2.5.
Prima secţiune astfel obţinută poate fi descrisă prin
30 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2

Figura 2.4 Răspunsul la impuls de durată finită h  n (a) şi semnalul de

durată nedefinită v  n ce urmează a fi filtrat de h  n (b).

v  n , n  0,1, , N  P
v0  n   (2.23)
0, n  N  P  1, , N  1
Convoluţia circulară a lui v0  n cu h  n dă secvenţa de ieşire u0  n prezentată în primul

Figura 2.5 (a) Descompunerea semnalului din Figura 2.4 în secţiuni adiacente de
lungime Q care nu se suprapun. (b) Rezultatul convoluţiei fiecărei
secţiuni cu h  n .
 2.8 Implementarea convoluţiei cu ajutorul transformării DFT 31

grafic din Figura 2.5.

A doua secţiune a semnalului v1  n împreună cu toate celelalte secţiuni ale secvenţei
v  n sunt tratate în mod similar. Secvenţele de ieşire u1  n şi u2  n care rezultă în urma
aplicării la intrare a semnalelor v1  n şi respectiv v2  n sunt de asemenea ilustrate în
Figura 2.5. În final, secvenţele de ieşire u0  n , u1  n , u2  n , sunt combinate pentru a
furniza secvenţa de ieşire globală u  n . De remarcat că u1  n , u2  n , sunt deplasate cu
valorile corespunzătoare, şi anume cu N ,2 N , , înainte să fie adunate la u0  n . Procedeul
de convoluţie secţionată descris aici se numeşte metoda overlap-add din două motive: mai
întâi, secvenţele de ieşire tind să se suprapună una peste cealaltă iar apoi acestea sunt
adunate împreună în scopul furnizării rezultatului corect.

2.8.2 Metoda Overlap-Save (Suprapune şi salvează)

Această metodă diferă de metoda overlap-add prin aceea că se suprapun mai degrabă
secvenţele de intrare decât cele de ieşire. În mod specific, se secţionează secvenţa „infinit”
lungă de intrare în blocuri de N puncte care se suprapun pe lungimea a P  1 eşantioane,
unde P este lungimea secvenţei „scurte” h  n aşa cum ilustrează Figura 2.6. Convoluţia

Figura 2.6 (a) Descompunerea semnalului v  n din Figura 2.4 în secţiuni de lungime
N care se suprapun. (b) Rezultatul convoluţiei fiecărei secţiuni cu h  n ;
sunt indicate porţiunile din fiecare secţiune filtrată care sunt eliminate
pentru realizarea convoluţiei lineare.
32 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2

circulară în N puncte ale lui h  n şi vr  n este calculată pentru r  0,1, Secvenţele de

ieşire u0  n , u1  n şi u2  n rezultate pentru secvenţele de intrare v0  n , v1  n şi v2  n sunt
de asemenea prezentate în Figura 2.6. Primele P  1 eşantioane ale fiecărei secvenţe de
ieşire ur  n , r  0,1, se ignoră, pentru că ele sunt datorate efectului de înfăşurare la
capăt (wraparound) a convoluţiei circulare. În final, eşantioanele rămase ale secvenţelor
u0  n , u1  n şi u2  n sunt însumate după ce au fost în prealabil deplasate cu valori
corespunzătoare. Se obţine astfel secvenţa corectă de ieşire u  n . În acest fel, este evident
motivul pentru care procedeul de secţionare descris aici poartă numele de metoda
overlap-save.
În concluzie, pentru a calcula convoluţia lineară a unei secvenţe scurte h  n cu o a doua
secvenţă mult mai lungă v  n utilizăm una dintre cele două metode prezentate anterior. Mai
întâi, se secţionează secvenţa mai lungă în blocuri mici, apoi se calculează indirect, cu
ajutorul transformatei Fourier discrete (DFT), convoluţia circulară dintre fiecare dintre
aceste blocuri cu secvenţa scurtă h  n , pentru ca în final rezultatele individuale să fie
asamblate într-o manieră corespunzătoare. Utilizarea într-o largă măsură a metodelor
overlap-add şi overlap-save se datorează existenţei unor algoritmi eficienţi de calcul a
transformatei DFT (de exemplu algoritmii FFT). Calculul indirect al convoluţiei prin
metodele overlap-add şi overlap-save cu utilizarea algoritmilor FFT poartă numele de
convoluţie rapidă, pentru că timpii de calcul sunt mai reduşi decât atunci când se efectuează
calculul direct al convoluţiei.

2.9 Transformarea cosinus discretă

(Discrete Cosine Transform - DCT)
Este o transformare utilizată în unele aplicaţii de prelucrare digitală a semnalelor. DCT se
foloseşte, îndeosebi în compresia datelor pentru că realizează o puternică „compactare a
energiei”, ceea ce face ca cea mai mare parte a informaţiei semnalului transformat să se
concentreze în componentele de joasă frecvenţă ale transformării (Strang 1999). Prin
aceasta, DCT se apropie de transformarea Karhunen-Loève (ce va fi introdusă în Capitolul
3), care este optimală din punctul de vedere a „albirii” datelor în cazul în care semnalul
prelucrat derivă dintr-un proces Markov. Transformarea DCT a unei secvenţe discrete de
N puncte u  n se defineşte prin (Rao şi Yip 1990):
N 1
U  m  km  u  n cos
 2n  1 m , m  0,1, , N 1 (2.24)
n 0 2N
iar transformarea inversă cosinus discretă (transformarea IDCT) a lui U  m se defineşte
astfel:
 2.9 Transformarea cosinus discretă (Discrete Cosine Transform - DCT) 33

u  n 
2 N 1
kmU  m cos
 2n  1 m , n  0,1,

N m0 2N
, N 1 (2.25)

Constanta km din definiţiile (2.24) şi (2.25) se defineşte ea însăşi prin

1 2,
 m0
km   (2.26)

1, m  1, 2, , N 1
După cum se poate aştepta există o legătură între transformarea DCT şi transformarea
Fourier discretă. Pentru a stabili această legătură, începem prin a construi u  n , o secvenţă
de 2N puncte, ce reprezintă extensia pară a secvenţei iniţiale u  n :

u  n ,
 n  0,1, , N 1
u  n   (2.27)
u  2 N  n  1 ,
 n  N , N  1, , 2N 1

În acest fel, u  n este o extensie pară a lui u  n . Transformarea DFT a secvenţei u  n este
dată de:
2 N 1 j 2 mn N 1 j 2 mn 2 N 1 j 2 mn
  
U  m   u  n e 2N
  u n e 2N
  u ne 2N
(2.28)
n 0 n 0 n N

Înlocuind ecuaţia (2.27) în (2.28), se obţine

N 1 j 2 mn 2 N 1 j 2 mn
 
U  m   u  n e 2N
  u  2 N  n  1 e 2N

n0 n N
j 2 m  n 1
(2.29)
N 1  
j 2 mn

  u  n  e 2N
e 2N

n0  
Introducem apoi în ecuaţia (2.29) defazajul m 2 N şi factorul de ponderare km 2 , pentru
a scrie
1 
jm
1 N 1   j  2 n 1 m j  2 n 1 m

km e 2 N U  m   km  u  n  e 2 N  e 2 N 
2 2 n 0   (2.30)
N 1
 km  u  n  cos
 2n  1 m
n 0 2N
Recunoaştem în membrul drept al ecuaţiei (2.30), definiţia transformatei DCT a
secvenţei iniţiale u  n . Rezultă prin urmare, că transformarea cosinus discretă U  m a
secvenţei u  n şi transformata Fourier discretă U  m a secvenţei extinse u  n sunt legate
prin relaţia:
jm
1 
U  m  km e 2 N U  m  , m  0,1, , N 1 (2.31)
2
34 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2

Această relaţie arată că, în timp ce transformarea DFT este periodică de perioadă N ,
perioada transformării DCT este de valoare 2N .

Probleme
P 2.1 Să se determine transformata Z a semnalelor:
(a) xa  n    n , (b) xb  n   0.5   n     n  1 ,
,
xc  n  0.5n   n , (d ) xd  n  0.5 .
n
(c )
Să se precizeze în fiecare caz RC şi să se reprezinte constelaţia de poli şi zerouri. În
expresiile de mai sus,   n este impulsul unitar iar   n impulsul treaptă unitate.
P 2.2 Să se determine pentru toate RC posibile, semnalele în timp discret care corespund
următoarelor transformate Z:

X a  z   2 1  z 1 1  z 2  ,
1
(a) b  X2 z 
 1 1  1 1 
1  z 1  z 
 4  2 
P 2.3 Se consideră sistemul în timp discret a cărui răspuns la semnalul x  n este dat de
relaţia:
n  n0
y  n   x k 
k  n  n0

unde n0 este un număr natural.

(a) Este acest sistem liniar? Dar invariant în timp? Dar cauzal?
(b) Se consideră că semnalul x  n este mărginit superior: x  n  B, n .
Demonstraţi că şi y  n este mărginit superior de constanta C . Exprimaţi C în
funcţie de B şi de n0 .
P 2.4 Pentru secvenţele discrete x  n  1,2,3,4,3,2,1 şi h  n  1,0, 1 să se calcu-
leze convoluţia y  n  x  n  y  n
(a) prin utilizarea definiţiei (2.7),
(b) prin utilizarea teoremei convoluţiei,
(c) prin utilizarea programului MATLAB.
P 2.5 Se consideră sistemul liniar şi invariant şi cauzal în timp discret descris prin
ecuaţia cu diferenţe finite:
1
y  n  y  n  1  x  n
2
(a) Să se determine răspunsul în frecvenţă, H  e j  al sistemului.
 SEMNALE ŞI SISTEME ÎN TIMP DISCRET Probleme 35

(b) Să se reprezinte grafic pe intervalul      amplificarea H  e j  şi faza

 
arg H  e j  funcţiei de sistem.
(c) Care este răspunsul sistemului la următoarele semnale de intrare:
n

 i  xi  n      n,
1 1
 ii  xii  n     n     n  1
 2 2
P 2.6 Consideraţi funcţia de sistem
1  z 1  6 z 2
H  z 
1 1
1  z 1  z 2
4 8
(a) Arătaţi că sistemul H  z  nu este un sistem de fază minimă.
(b) Construiţi un sistem de fază minimă H min  z  astfel încât:

H min  e j   H  e j 

Fie x  n   0,9    n .
n
P 2.7
(a) Determinaţi analitic expresia lui x  n  x  n şi reprezentaţi primele 101
eşantioane.
(b) Trunchiaţi x  n la primele 51 de eşantioane. Calculaţi şi reprezentaţi convoluţia
x  n  x  n utilizând funcţia MATLAB conv.
(c) Presupuneţi că x  n este răspunsul la impuls al unui sistem SLIT. Determinaţi
pentru funcţia MATLAB filter coeficienţii vectorilor a şi b. Utilizând funcţia
filter, calculaţi şi reprezentaţi primele 101 eşantioane ale convoluţiei
x  n  x  n .
(d) Comentaţi graficele obţinute. Care din procedurile MATLAB utilizate este cel mai
bine adaptată la calculul convoluţiei unor secvenţe de lungime infinită şi de ce?
P 2.8 Fie x  n o secvenţă sinusoidală de frecvenţă 0 şi de lungime finită N:
 A cos 0 n, 0  n  N  1
x  n  
0, în rest
În acest fel, x  n poate fi privit ca o sinusoidă de lungime infinită multiplicată
printr-o fereastră dreptunghiulară de lungime N.
(a) Dacă transformarea Fourier în timp discret a lui x  n se exprimă prin părţile ei
reale şi imaginare astfel:
36 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2

X  e j  X R     jX I   

determinaţi expresiile analitice ale lui X R    şi X I    .Exprimaţi cos prin

intermediul exponenţialelor complexe şi utilizaţi proprietatea de modulaţie pentru
a da rezultatul.
(b) Alegeţi N  32 şi 0   4 şi reprezentaţi X R    şi X I    pentru
   ,   .
(c) Calculaţi DFT în 32 de puncte a semnalului x  n şi reprezentaţi separat
eşantioanele sale reale şi imaginare. Suprapuneţi graficul de la punctul (b) peste
graficul DFT. Comentaţi rezultatele.
(d) Repetaţi ultimele două puncte pentru N  32 şi 0  1,1 4 . De ce graficele sunt
atât de diferite în raport cu cele obţinute iniţial?
P 2.9 Fie x  n  cos  n 4  . Vom presupune că sunt disponibile pentru procesare
numai 16 de eşantioane din semnal.
(a) Calculaţi transformarea Fourier discretă (DFT) pentru aceste 16 eşantioane şi
reprezentaţi amplitudinile lor.
(b) Calculaţi DFT în 32 de puncte a secvenţei obţinută prin adăugarea la cele 16
eşantioane de mai sus a altor 16 eşantioane nule (zero-padding).
(c) Repetaţi punctul (b) pentru DFT în 64 de puncte, adică pentru un zero-padding de
48 de puncte.
(d) Explicaţi efectul şi prin urmare scopul operaţiei DFT asupra spectrului DFT al
unei secvenţe de lungime finită.
 3
Capitolul

3 Procese aleatoare în
timp discret
ermenul de semnal aleator sau semnal stochastic descrie evoluţia în timp a unui

T fenomen statistic în conformitate cu legi probabilistice. Semnalul aleator este o

funcţie de timp definită pe un anumit interval de observaţie. Natura statistică a
fenomenului face ca înainte de a porni experimentul să nu se poată defini exact modul în
care acesta va evolua în timp.
Vom efectua studiul semnalelor aleatoare, pornind de la teoria variabilelor aleatoare şi a
vectorilor aleatori pe care le presupunem cunoscute (Papoulis 1991, Spătaru 1968), acestea
nefăcând obiectul lucrării de faţă. Un cadru matematic natural pentru descrierea acestor
semnale aleatoare este furnizat de teoria proceselor aleatoare în timp discret.

3.1 Caracterizarea statistică a proceselor

aleatoare în timp discret
Pentru a da o definiţie formală, vom considera un experiment ce are un număr finit sau
infinit de realizări dintr-un spaţiu eşantion S   1 ,  2 ,  , fiecare dintre acestea produ-
cându-se cu o probabilitate P  k  , k  1,2, . Fiecărui element  k din S i se atribuie
după o anumită regulă o secvenţă deterministă x  n,  k  ,    n   . Spaţiul eşantion
S , probabilităţile P  k  şi secvenţele x  n,  k  constituie un proces aleator în timp discret
sau o secvenţă aleatoare. Formal, x  n,   ,    n   este o secvenţă stochastică dacă
pentru o valoare fixată n0 a lui n , x  n0 ,   este o variabilă aleatoare.
Setul tuturor secvenţelor posibile x n,  este denumit un ansamblu, iar fiecare
secvenţă individuală x  n,  k  este numită realizare sau secvenţă eşantion a ansamblului.
38 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

Figura 3.1 Descrierea grafică a unui proces aleator.

În funcţie de caracterul lui n şi al lui  , există patru posibile interpretări ale lui
x  n,   , după cum relevă Figura 3.1 (Manolakis, ş.a. 2005):
 x  n,   este o variabilă aleatoare dacă n este fixat iar  este variabil.
 x  n,   este o realizare dacă  este fixat iar n este variabil.
 x  n,   este un număr dacă atât n cât şi  sunt fixate.
 x  n,   este un proces stochastic dacă atât n cât şi  sunt variabile.

3.1.1 Descrierea prin funcţii de probabilitate

Figura 3.1 evidenţiază că pentru n  n0 , x  n0 ,   este o variabilă aleatoare care este
descrisă printr-o funcţie de probabilitate de ordinul întâi, de exemplu funcţia de distribuţie
Fx  x; n0  . În mod similar, pentru a descrie perechea de variabile aleatoare x  n1 ,   şi
x  n2 ,   , se utilizează funcţia de distribuţie de ordinul doi Fx  x1 , x2 ; n1 , n2  . Un proces
stochastic conţine infinit mai multe astfel de variabile aleatoare. Drept urmare, el poate fi
descris complet în sens statistic, dacă funcţia de distribuţie de ordinul k
Fx  x1 , , xk ; n1 , , nk   P  x  n1   x1 , , x nk   xk  (3.1)

poate fi cunoscută pentru fiecare valoare k  1 şi pentru toate momentele n1 , n2 , , nk .

Densitatea de probabilitate de ordinul k este definită acum astfel:
 k Fx  x1 , , xk ; n1 , , nk 
f x  x1 , , xk ; n1 , , nk  , k 1 (3.2)
x1 xk
 3.1 Caracterizarea statistică a proceselor aleatoare în timp discret 39

În mod evident, descrierea probabilistică necesită foarte multă informaţie care, în

practică, este dificil de obţinut. Totuşi, multe proprietăţi ale proceselor stochastice pot fi
descrise prin momente de ordinul unu şi doi asociate densităţilor de probabilitate de acelaşi
ordin.
Pentru simplificare, în restul lucrării vom folosi notaţia compactă x  n  pentru a repre-
zenta atât un proces aleator x  n,   cât şi o unică realizare x  n  , ce face parte din ansam-
blu. De asemenea, vom presupune, în lipsa unei specificaţii explicite, că procesele
stochastice sunt de valori complexe.

3.1.2 Descrierea prin medii statistice de ordinul unu

sau doi
În practică, nu se pot determina funcţiile de densitate, de probabilitate mutuală pentru un set
de observaţii (realizări ale unui proces aleator). În consecinţă, ne mulţumim cu
caracterizarea parţială a procesului prin determinarea momentelor sale de ordinul unu şi doi.
Pentru seria temporală cu valori complexe u  n , u  n  1 , , u n  M  se defineşte
funcţia valoare medie a procesului prin:
  n  E u  n (3.3)
unde E reprezintă operatorul de mediere statistică:

E  x    xf x  x dx (3.4)


Funcţia de autocorelaţie a procesului se defineşte prin:

r  n1 , n2   E u  n1   u  n2   ,

(3.5)
 
unde  defineşte operaţia de conjugare complexă. Funcţia furnizează o măsură a depen-
denţei dintre valorile procesului la două momente diferite de timp. În acest sens, ea oferă
informaţii despre variaţia în timp a procesului stochastic.
De observat că pentru n1  n2  n , r n, n  reprezintă valoarea medie pătratică a lui
u  n :

r  n, n  E  u  n  
2
(3.6)
 
Funcţia de autocovarianţă este:
c  n1 , n2   E  u  n1     n1    u  n2     n2    r n1 , n2    n1    n2 

(3.7)
 
Dacă în (3.7) se consideră n1  n2  n , se obţine varianţa (sau momentul centrat de ordinul
doi)  2  n , un parametru deosebit de important în caracterizarea proceselor stochastice:
40 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

 2  n  E  u  n    n   E  u  n     n
2 2 2
(3.8)
   
Cele trei funcţii introduse realizează o caracterizare parţială a procesului, dacă se cunosc
valorile lor pentru diverse valori ale lui n1 şi n2. Sunt două avantaje ce se obţin prin utilizarea
acestei descrieri parţiale:
1. Poate fi stabilită prin măsurări practice,
2. Este bine adaptată la efectuarea de operaţiuni liniare asupra proceselor stochastice.
Relaţia statistică dintre două procese aleatoare u  n şi v  n , distribuite mutual (adică
definite pe acelaşi spaţiu eşantion S ) poate fi descrisă prin funcţiile de intercorelaţie (pe
scurt corelaţie) şi intercovarianţă (covarianţă) definite astfel:
ruv  n1 , n2   E u  n1  u   n2  ,
(3.9)
cuv  n1 , n2   E  u  n1     n1   u  n2     n2    ruv  n1 , n2     n1   *  n2 
*

 

3.1.3 Categorii de procese aleatoare

Vom descrie, pe baza proprietăţilor statistice, în continuare câteva categorii deosebite de
procese stochastice. Spunem că un proces aleator este:
 Proces independent dacă:
fu  u1 , , uk ; n1 , , nk   fu  u1; n1  fu uk ; nk  k , ni , i  1, ,k (3.10)
adică, u  n este o secvenţă de variabile aleatoare independente. Dacă toate varia-
bilele independente au aceiaşi densitate de probabilitate f  u  , oricare ar fi k ,
atunci u  n reprezintă o secvenţă aleatoare IID (Independent and Identically
Distributed – distribuită independent şi identic).
 Proces necorelat dacă x  n este o secvenţă de variabile aleatoare necorelate:
 2  n1  , n1  n2
c  n1 , n2    2  n1   n1  n2    (3.11)
0, n1  n2
Alternativ, funcţia de autocorelaţie a unui proces necorelat este

  n1     n1  , n1  n2
2 2

r  n1 , n2    (3.12)
   n1   *  n2  ,
 n1  n2
 Proces ortogonal sau secvenţă de variabile aleatoare ortogonale

  n1     n1  , n1  n2
2 2

r  n1 , n2   E  u  n1     n1  n2   
2
(3.13)
   n1  n2
0,
 3.1 Caracterizarea statistică a proceselor aleatoare în timp discret 41

Aceste definiţii se pot extinde la cazul a două procese aleatoare mutual. Spunem că
procesele aleatoare u  n şi v  n sunt
 Independente statistic dacă pentru toate valorile lui n1 şi n2
fuv  u, v; n1 , n2   fu u; n1  f v  v; n2  (3.14)
 Necorelate dacă pentru orice n1 şi n2
cuv  n1 ; n2   0 sau ruv  n1; n2   u n1  v  n2  (3.15)
 Ortogonale dacă oricare ar fi n1 şi n2
ruv  n1 ; n2   0 (3.16)

3.1.4 Procese aleatoare staţionare

Un proces aleator este numit staţionar dacă statisticile determinate pentru u  n sunt egale
cu statisticile lui u  n  k  , oricare ar fi k. Mai exact, definiţia este:
Definiţie: Un proces stochastic u  n este denumit staţionar de ordinul N dacă
fu  u1 , , uN ; n1 , , nN   fu u1 , , uN ; n1  k , , nN  k  , (3.17)
pentru orice valoare a lui k . Dacă u  n este staţionar, oricare ar fi ordinul
N  1,2, , atunci se spune că procesul este staţionar în sens strict.
De remarcat că staţionaritatea în sens strict este o condiţie prea restrictivă pentru cele
mai multe aplicaţii practice. O formă mai relaxată de staţionaritate, suficientă în problemele
practice are loc atunci când procesul aleator este staţionar de ordinul 2, caz care mai este
numit staţionaritate în sens larg.
Definiţie: Un proces aleator u  n este denumit staţionar în sens larg dacă media
sa statistică este o constantă independentă de n , adică
E u  n   (3.18)
Varianţa sa este, de asemenea, o constantă independentă de n , adică
 2  n  E  u  n    n   E  u  n      2
2 2
(3.19)
   
Funcţia de autocorelaţie depinde numai de distanţa l  n1  n2 , numită întârziere,
adică
r  n1 , n2   r  n1  n2   r l   E u n  l u* n  E u n u * n  l  (3.20)
Din ecuaţiile (3.18), (3.19) şi (3.20) rezultă că funcţia de autocovarianţă a unui semnal
staţionar în sens larg depinde de asemenea numai de l  n1  n2 , cu alte cuvinte:
c  l   r l   
2
(3.21)
42 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

Exemplul 3.1: Fie w n o secvenţă gaussiană, de medie nulă şi necorelată de

varianţă  2
 n  1 .
a. Caracterizaţi secvenţa aleatoare w n .
b. Se defineşte u  n  w n  wn  1,    n   . Determinaţi media şi
autocorelaţia lui u  n . Caracterizaţi de asemenea secvenţa u  n .
Soluţie: Vom observa pentru început că varianţa lui w n este o constantă.
În cazul variabilelor aleatoare gaussiene, necorelarea implică independenţa
ceea ce face ca w n  să fie o secvenţă aleatoare independentă. Pentru că atât
media cât şi varianţa ei sunt constante, secvenţa este, cel puţin, staţionară de
ordinul unu. Mai mult, din (3.12) şi (3.13) avem
rw  n1 , n2    2  n1  n2    n1  n2 
Prin urmare, w n este, de asemenea, un proces aleator în sens larg.
Media statistică a lui u  n este zero oricare ar fi n pentru că w n este un
proces de medie zero. Calculăm autocorelaţia:
ru  n1 , n2   E u  n1  u  n2   E  w  n1   w  n1  1  w  n2   w  n2  1 
 rw  n1 , n2   rw  n1 , n2  1  rw  n1  1, n2   rw  n1  1, n2  1
  2  n1  n2    2  n1  n2  1   2  n1  1  n2    2  n1  1  n2  1
 2  n1  n2     n1  n2  1    n1  1  n2 
Evident că ru  n1 , n2  este funcţie de n1  n2  l . Prin urmare
ru l   2 l    l  1   l  1
Prin urmare u  n este o secvenţă staţionară în sens larg. Totuşi, aceasta nu
este o secvenţă aleatoare independentă pentru că atât u  n cât şi u  n  1 depind
de w n .
Vom sublinia că, deşi orice semnal staţionar în sens strict este staţionar în sens larg,
inversa nu este întotdeauna adevărată, cu excepţia cazului în care semnalul este gaussian.
Totuşi în practică, se întâlnesc rar cazuri în care un semnal staţionar în sens larg să nu fie
staţionar în sens strict (Manolakis, ş.a. 2005).
Secvenţa de autocorelaţie a unui proces staţionar are o serie de proprietăţi importante,
utile în dezvoltarea studiului nostru:
Proprietatea 1: Puterea medie a procesului aleator staţionar în sens larg u  n
satisface relaţiile:
 3.2 Caracterizarea temporală a proceselor aleatoare în timp discret 43

r  0   2    0,
2

(3.22)
r  0  r  n  , n
Prima parte rezultă din ecuaţia (3.21), cea de a doua parte poate fi demonstrată utilizând
inegalitatea E  u  n  l   u  n   0 .
2

 
Proprietatea implică faptul că funcţia de corelaţie îşi atinge valoarea maximă la întârzie-
re nulă şi că această valoare este pozitivă. Mărimea 
2
reprezintă puterea medie de curent
continuu (cc) iar  este puterea medie de curent alternativ (ca) a secvenţei aleatoare.
2

Mărimea r  0 este, prin urmare, puterea medie totală a lui u  n .

Proprietatea 2: Secvenţa de autocorelaţie r  n este o funcţie simetric conjugată,
adică:
r *  n   r  n  (3.23)
Demonstraţia proprietăţii se face pe baza definiţiilor staţionarităţii în sens larg şi a
ecuaţiei (3.20).
Două semnale aleatoare u  n şi v  n se numesc staţionare mutual în sens larg dacă
fiecare este staţionar în sens larg iar funcţia lor de intercorelaţie (corelaţie) depinde numai de
l  n1  n2
ruv l   E u  n v*  n  l  ; cuv l   ruv l   u v* (3.24)
Consecinţa staţionarităţii în sens larg este că secvenţele de corelaţie sau covarianţă
bidimensionale devin secvenţe unidimensionale. Este un rezultat foarte important care
permite realizarea descrierii spectrale a proceselor aleatoare staţionare.

3.2 Caracterizarea temporală a proceselor

aleatoare în timp discret
Un proces aleator constă dintr-un ansamblu de realizări şi o lege de probabilitate. Dacă
aceste informaţii sunt disponibile, proprietăţile statistice ale procesului pot fi stabilite în mod
direct. Totuşi în realitate, avem acces la un număr limitat de realizări ale procesului (de
obicei, numai una). Este foarte important în aceste condiţii să putem stabili caracteristicile
statistice ale procesului dintr-o singură realizare, lucru ce devine posibil pentru clasa de
procese aleatoare numite ergodice. Aşadar, ergodicitatea, care se bazează pe descrierea în
domeniul timp a procesului aleator, permite ca toate informaţiile statistice referitoare la
proces să poată fi obţinute dintr-o singură realizare a acestuia.
44 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

3.2.1 Medii temporale

În practică, mediile statistice definite prin operatorul E  , ce presupun operaţiuni statistice
pe un ansamblu de realizări, nu se fac frecvent, pentru că nu se poate dispune de un număr
suficient de realizări pentru ca estimarea realizată să fie precisă. Apare prin urmare nevoia
unui alt tip de mediere, bazată pe o singură realizare a procesului aleator. Evident, aceasta se
poate realiza numai prin mediere în timp.
Media temporală a unei mărimi, legate de un semnal aleator în timp discret se defineşte
astfel:
N
1
  lim
N  2 N  1
  
n  N
(3.25)

De remarcat că, datorită dependenţei de o singură realizare, orice medie temporală este ea
însăşi o variabilă aleatoare.
Corespunzător fiecare medii pe ansamblu discutate anterior, putem defini o medie
temporală corespunzătoare:
Valoare medie = u  n  ,

Valoare medie pătratică = u  n 

2
,

Varianţă = u  n   u  n 
2
,

Autocorelaţie = u  n  u *  n  l  , (3.26)


Autocovarianţă = u  n   u  n   u n  l   u n  l  
*
,

Intercorelaţie = u  n  v*  n  l  ,


Intercovarianţă = u  n   u  n    v n  l   v n  l  
*

3.2.2 Procese aleatoare ergodice

Un semnal stochastic u  n este denumit ergodic dacă mediile statistice pe ansamblul
realizărilor sunt egale cu mediile de timp corespunzătoare. Există diverse grade de
ergodicitate (Papoulis 1991). Prezentăm în continuare două dintre acestea: ergodicitate în
medie şi ergodicitate în corelaţie.
Definiţie: Un proces aleator u  n este ergodic în medie dacă:
u  n  E u  n (3.27)

Definiţie: Un proces aleator u  n este ergodic în corelaţie dacă:

u  nu*  n  l   E u nu* n  l  (3.28)
 3.3 Descrierea în domeniul frecvenţă a proceselor staţionare 45

Trebuie remarcat aici că, întrucât u  n este o constantă iar u  n u*  n  l  este

funcţie de l , dacă u  n este ergodic atât în medie cât şi în corelaţie, atunci procesul este
şi staţionar în sens larg. Astfel, numai semnalele staţionare pot fi ergodice. Pe de altă parte,
staţionaritatea în sens larg nu implică ergodicitate de orice fel. Din fericire, în practică
aproape toate procesele staţionare sunt şi ergodice, ceea ce este foarte util pentru estimarea
proprietăţilor lor statistice. În continuare, vom înţelege prin ergodicitate atât ergodicitatea în
medie cât şi în corelaţie.
Definiţie: Două semnale aleatoare sunt denumite mutual ergodice dacă ele sunt
individual ergodice şi, în plus:
u  n v*  n  l   E u  n v* n  l  (3.29)
În practică, este evident imposibil să utilizăm formula de mediere temporală (3.25),
pentru că pentru medie sunt disponibile doar secvenţe de lungime finită. Operatorul de
medie temporală utilizat în practică în locul lui (3.25) este:
N
1
  N
 
2 N  1 n  N
  (3.30)

În final, să concluzionăm că dacă staţionaritatea presupune invarianţa în timp a statisti-

cilor semnalului aleator, atunci ergodicitatea înseamnă că orice statistică poate fi calculată
atât prin mediere peste toate realizările ansamblului la un moment de timp fixat cât şi prin
mediere în timp pe o singură realizare din ansamblu.

3.3 Descrierea în domeniul frecvenţă a

proceselor staţionare
3.3.1 Densitatea spectrală de putere – definiţie şi
proprietăţi
Fie seria temporală u  n infinit lungă care reprezintă o singură realizare a unui proces
aleator discret staţionar în sens larg, de medie nulă. Delimităm o porţiune de N eşantioane
din respectiva serie:
u  n , n  0, 1, , N 1
uN  n   (3.31)
0, n  0, n0
şi calculăm transformata Fourier în timp discret a acesteia cu relaţia
N 1
U N      u N  n  e  jn (3.32)
n 0

În general U N   este o funcţie complexă, având pătratul modulului stabilit prin ecuaţia de
mai jos
46 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

N 1 N 1
U N    U N  U N*    u N  n  u N*  k  e
2  j  n  k 
(3.33)
n 0 k 0

Trecerea de la o realizare la descrierea întregului proces aleator, implică efectuarea

medierii statistice în ambii membri ai relaţiei (3.33), cu schimbarea între ei a operatorilor de
mediere şi sumare în membrul drept al ecuaţiei:
N 1 N 1
E  U N      E u N  n  u N*  k  e  
2  j n  k
(3.34)
  n 0 k 0

Se poate recunoaşte în media din membrul drept al lui (3.34) pe rN  n  k  , funcţia de auto-
corelaţie a lui u N  n  , care, potrivit definiţiei (3.31), poate fi exprimată prin autocorelaţia lui
u  n :

 E u  n  u  k   r  n  k  , 0   n, k   N  1
 *

rN  n  k    (3.35)

0, altfel
Prin urmare, ecuaţia (3.34) capătă forma
N 1 N 1
E  U N      r  n  k  e  
2  j n  k
(3.36)
  n 0 k 0

şi, înlocuind l  n  k se scrie:

1 N 1
 l 
E  U N      1   r l  e  jl
2

N  
 l  N 1  N 
(3.37)

Pe măsură ce N tinde la infinit, valoarea parantezei rotunde din membrul drept al ecuaţiei
(3.37) tinde către unu, astfel încât se poate scrie:

1
E  U N      r l  e  j l
2
lim (3.38)
N   l 
n 

Ecuaţia (3.38) ne permite să definim mărimea

1
S     lim E  U N   
2
(3.39)
N  
n 

Dacă limita din ecuaţia (3.39) există, o interpretare a mărimii S    d  îi atribuie aces-
teia semnificaţia de valoare medie a contribuţiei la puterea totală a semnalului aleator staţio-
nar în sens larg a componentelor de frecvenţă cuprinse între frecvenţele  şi    ;
media este realizată pe toate realizările posibile ale procesului (Haykin 1996). Drept urmare,
S    este, pe scurt, densitatea spectrală de putere a procesului aleator, ceea ce ne permite
să rescriem acum ecuaţia (3.38), astfel:
 3.3 Descrierea în domeniul frecvenţă a proceselor staţionare 47


S    r l  e  jl
,      (3.40)
l 

În concluzie, ecuaţia (3.40) stabileşte că:

Proprietatea 1: Funcţia de autocorelaţie şi densitatea spectrală de putere a unui
proces aleator staţionar în sens larg formează o pereche de transformate Fourier.
Prin urmare, legătura dintre funcţia de autocorelaţie r l  şi densitatea spectrală de pute-
re S    a unui proces aleator staţionar în sens larg este stabilită de relaţiile (3.40) şi (3.41):
1 
r l   S   e
2 
j l
d , l  0,  1,  2, (3.41)


Această pereche de ecuaţii fundamentale poartă numele de Teorema Wiener-Hincin.

Proprietatea 2: Densitatea spectrală de putere S    este o funcţie de frecvenţă
cu valori reale, periodică de perioadă 2 pentru orice proces aleator cu valori
complexe u  n . Dacă u  n este un proces cu valori reale, atunci S    este de
asemenea, o funcţie pară de  .
Pentru a demonstra prima parte a proprietăţii, rescriem ecuaţia (3.41):
 1
S     r 0   r  k  e jk   r k e  jk

k 1 k 

Înlocuind pe k cu k în al treilea termen din partea dreaptă a ecuaţiei, şi observând că

r  k   r *  k  , se obţine
 
S     r 0    r  k  e jk  r *  k  e jk   r 0  2 Re  r k  e  jk  (3.42)
k 1 k 1

unde Re este operatorul parte reală. Ecuaţia (3.42) arată că densitatea spectrală de putere
S    este o funcţie cu valori reale de  .
Proprietatea 3: Densitatea spectrală de putere a unui proces aleator staţionar în
timp discret este o funcţie nenegativă:
S    0,    ,   (3.43)
Proprietatea rezultă direct din formula fundamentală (3.39).
Proprietatea 4: Valoarea medie pătratică a unui proces aleator staţionar în timp
discret este egală, cu excepţia factorului de scală 1 2 , cu aria de sub curba
S    pentru      .
Proprietatea rezultă direct din ecuaţia (3.41) evaluată pentru l  0 :
1 
r  0    S   d  (3.44)
2 
48 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

Densitatea spectrală mutuală de putere sau interspectrul a două procese stochastice

staţionare mutual u  n şi v  n face o reprezentare în domeniul frecvenţă a relaţiilor lor
statistice şi este definită ca transformare Fourier a funcţiei lor de intercorelaţie

Suv      r k e
k 
uv
 jk
(3.45)

Funcţia de intercorelaţie ruv  n poate fi obţinută prin transformarea Fourier inversă a

interspectrului:
1 
ruv  n    S   e
jn
d (3.46)
2  uv

3.3.2 Zgomotul alb

O secvenţă aleatoare staţionară în sens larg w n este denumită proces de zgomot alb de
medie  w şi varianţă  w2 dacă şi numai dacă E  w n  w şi

rw l   E  w n w  n  l    w2 l  (3.47)

ceea ce implică ca Sw     w2 ,       (3.48)

Termenul de zgomot alb este utilizat pentru a sublinia că toate frecvenţele au contribuţii
egale la puterea semnalului, ca şi în cazul luminii albe, care se obţine prin combinarea tutu-
ror culorilor posibile cu aceiaşi pondere. Dacă, în plus, funcţia de densitate de probabilitate a
lui w n este gaussiană, atunci procesul este denumit proces de zgomot alb gaussian.
Este evident că zgomotul alb este cel mai simplu proces aleator, pentru că nu are niciun
fel de structură statistică. Totuşi, după cum se va vedea în continuare, el poate fi utilizat ca
bloc de bază în construcţia de procese aleatoare ce au structuri de corelaţie mult mai
complicate.

3.4 Trecerea semnalelor aleatoare prin

sisteme lineare invariante în timp
Vom considera un sistem în timp discret care este linear, invariant în timp şi stabil.
Răspunsul la impuls unitar al sistemului este h  n , şi acesta are drept transformată Fourier
funcţia cu valori complexe H    , funcţia de transfer a sistemului.

3.4.1 Analiza în domeniul timp

Pentru a calcula acţiunea sistemului asupra semnalului aleator u  n aplicat la intrarea lui,
vom nota procesul aleator de la ieşirea acestuia prin y  n (vezi Figura 3.2(a)). Vom utiliza
 3.4 Trecerea semnalelor aleatoare prin sisteme lineare invariante în timp 49

Figura 3.2 (a) Transmisia unui semnal aleator printr-un sistem linear. (b) Sistem echivalent
ce are la intrare secvenţa de autocorelaţie a intrării de la punctul (a).

acest paragraf pentru a stabili relaţiile intrare-ieşire pe care le stabileşte sistemul precum şi
proprietăţile statistice ale procesului aleator de la ieşirea acestuia.
Semnalul de la ieşirea sistemului reprezintă rezultatul convoluţiei dintre semnalul de
intrare şi funcţia pondere a sistemului, h  n  :

y  n  h  n  u  n   h k  u n  k  (3.49)
k 

Dacă u  n este staţionar, media sa statistică u este independentă de timp. Pentru a

determina valoarea medie a procesului de la ieşire, vom aplica operatorul de mediere ambi-
lor termeni ai ecuaţiei (3.49):
 
y   h k  E u n  k     h k e
k 
u
k 
 j 0
 u H  0  (3.50)

u şi H  0  fiind constante,  y este de asemenea o constantă.

Notaţiile utilizate pentru funcţia de autocorelaţie sunt ru l  în cazul secvenţei de intrare,
respectiv ry l  pentru secvenţa de ieşire:

ru l   E u  n u*  n  l  , ry l   E  y n  y * n  l  (3.51)

Pentru a calcula corelaţia dintre semnalul de intrare şi cel de ieşire (intercorelaţia
intrare-ieşire), conjugăm complex ecuaţia (3.49), o multiplicăm cu u  n  l  şi calculăm
media statistică pentru ambii membri ai relaţiei obţinute

E u  n  l  y* l    h k  E u n  l u n  k 
* *

k 
 
sau ruy l    h  k  r  l  k    h   m  r l  m 
*
u
*
u
k  m 

Prin urmare, ruy l   h*  l   ru l  (3.52)

Similar, ryu l   h l   ru l  (3.53)
Calculăm în continuare funcţia de autocorelaţie a semnalului de ieşire. Înmulţim în acest
scop ambii termeni ai lui (3.49) cu y  n  l  şi continuăm, mediind statistic
50 PROCESE ALEATOARE ÎN TIMP DISCRET - 3


E  y  n y  n  l    h k  E u n  k  y n  l 


k 


sau ry l    h  k  r  l  k   h  l   r l 
k 
uy uy (3.54)

Din (3.52) şi (3.54) se obţine

ry l   h l   h  l   ru l  (3.55)

sau ry l   rh l   ru l  (3.56)

unde rh l  h l   h  l    h  n h  n  l 

(3.57)
n 

este funcţia de autocorelaţie a răspunsului la impuls şi este denumită secvenţa de corelaţie a

sistemului.
Având în vedere că  y este constant iar ry l  depinde numai de întârzierea l, răspunsul
sistemului la un semnal de intrare staţionar este de asemenea un proces staţionar (vezi
Figura 3.2(a)). Concluzia care poate fi desprinsă după o examinare atentă a relaţiei (3.57)
este că atunci când un semnal u  n este filtrat de un sistem linear invariabil în timp cu
răspunsul la impuls h  n , autocorelaţia sa este „filtrată” de un sistem cu răspunsul la
impuls egal cu autocorelaţia lui h  n , după cum arată Figura 3.2(b).

3.4.2 Analiza în domeniul frecvenţă

În vederea calculului spectrului semnalului de ieşire al sistemului din Figura 3.2(b), aplicăm
transformata Fourier relaţiei (3.55) şi avem în vedere că F h  l   H *    . Se obţine
astfel:
S y     H    Su   
2
(3.58)
Densitatea spectrală mutuală a proceselor staţionare de la intrarea şi ieşirea sistemului se
calculează pornind de la ecuaţiile (3.52) şi (3.53)
Suy     H *    Su    , S yu     H    Su   
*
(3.59)
În concluzie, prin referire la ecuaţia (3.58), cunoscând densităţile spectrale de putere
la intrare şi ieşire, putem determina modulul răspunsului în frecvenţă al sistemului nu şi faza
acestei funcţii. Doar densităţile mutuale de putere sau interspectrul (vezi ecuaţia (3.59))
furnizează informaţii despre faza funcţiei.

3.5 Matricea de corelaţie

În prelucrarea adaptivă a semnalelor dar şi în analiza semnalelor se obişnuieşte să se
reprezinte semnalele aleatoare sub forma unor vectori de date (Ciochină şi Negrescu 1999).
 3.5 Matricea de corelaţie 51

În aceste condiţii, valorile funcţiei de autocorelaţie a semnalului sunt reprezentate sub forma
unei matrici pătrate, matricea de corelaţie a procesului (Bellanger 1989, Haykin 1996).

3.5.1 Definirea matricii de corelaţie

Fie vectorul de observaţie de dimensiuni M 1 u  n  format din elemente ale seriei
temporale u  n , u  n  1 , , u  n  M  1 . Scriem:

u  n  u  n u  n  1 u  n  M  1
T
(3.60)
unde indicele T este pentru operaţia de transpunere, iar u  n este un proces aleator staţio-
nar în sens larg.
Se defineşte matricea de corelaţie a procesului în timp discret aleator reprezentat prin
acest vector, media statistică:
R  E u  n   u  n
H
(3.61)
unde indicele H indică operaţia de transpunere hermitică (conjugare + transpunere).
Înlocuirea lui (3.60) în (3.61) şi utilizarea condiţiilor de staţionaritate în sens larg condu-
ce la matricea R de dimensiune M  M :
 r  0 r 1 r  M  1 
 r  1 r  0 r  M  2 
R  (3.62)
 
 
 r   M  1 r   M  2 r  0 
unde r  k   E u  nu   n  k  (3.63)
este funcţia de autocorelaţie a vectorului u  n  . Elementul r  0 de pe diagonala principală
este întotdeauna real. În schimb pentru serii u  n  complexe, restul elementelor lui R au
valori complexe.

3.5.2 Proprietăţile matricii de corelaţie

Matricea de corelaţie R are un rol major în analiza statistică şi definirea filtrelor adap-
tive. Din acest motiv vom examina în continuare unele proprietăţi importante ale acesteia.
Proprietatea 1: Matricea de corelaţie a unui proces în timp discret aleator
staţionar este hermitică. (Se spune că o matrice complexă este hermitică dacă ea
este egală cu conjugata sa transpusă). În particular:
RH  R (3.64)
Proprietatea derivă din observaţia
 
r   k    E u  n  u   n  k    E u   n  u  n  k   r  k 

(3.65)
52 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

Deci, în cazul unui proces aleator în sens larg sunt necesare doar M valori ale lui r  k  ,
k  0,1, , M 1 pentru a defini complet pe R , care poate fi acum scris sub forma
 r  0 r 1 r  M  1 
r  1 
 r  0 r  M  2
R  (3.66)
 
  
 r  M  1 r   M  2 r 0 
În cazul special al vectorului de date u  n  real, r  k  este real pentru k , iar R este o
matrice simetrică.
Proprietatea 2: Matricea de corelaţie a unui proces aleator în timp discret
staţionar are proprietatea Toeplitz, adică toate elementele de pe diagonala prin-
cipală şi de pe orice altă diagonală paralelă cu cea principală sunt egale între ele.
Este important de observat că proprietatea Toeplitz a matricii de corelaţie R este o
consecinţă directă a presupunerii că procesul stochastic în timp discret reprezentat de
vectorul de observaţie u  n  este staţionar în sens larg.
Proprietatea 3: Matricea R este pozitiv semidefinită. Această proprietate
înseamnă că pentru orice vector complex nenul x de dimensiune M  1 ,
M M

x H R x   r i  j  xi x j  0 (3.67)
i 1 j 1

Într-adevăr,
xH R x  x H E u  n  u H  n x  E x H u  n  u H  n x   E  x H  u  n    0
2

 
Consecinţa acestei proprietăţi în cazul inegalităţii stricte implică faptul că determinantul lui
R împreună cu toţi minorii săi principali sunt mai mari decât 0, ceea ce atrage consecinţa că
matricea de corelaţie a unui proces staţionar este nesingulară, adică este inversabilă.
Proprietatea 4: Dacă ordinea elementelor vectorului de observaţie u  n  este
inversată, efectul este echivalent cu transpunerea matricii de corelaţie a
procesului.
Notăm prin u B  n , vectorul M 1 obţinut prin inversarea ordinii elementelor vecto-
rului de date:
u BT  n  u  n  M  1 u  n  M  2 u  n
T
(3.68)
unde indicele B reprezintă rearanjarea, prin inversarea ordinii, a elementelor unui vector.
Matricea de corelaţie a acestui vector este:
 3.5 Matricea de corelaţie 53

 r  0 r  1 r   M  1 
 
r 1 r  0 r   M  2 
E u B  n   u BH  n    (3.69)
 
 
 r  M  1 r  M  2 r  0 
Prin urmare, comparând matricea de corelaţie extinsă din (3.69) cu cea din ecuaţia (3.66), se
observă că
E u B  n  u BH  n  RT (3.70)
Proprietatea 5: Matricele de corelaţie R M şi R M 1 ale unui proces aleator în timp
discret staţionar corespunzătoare la M respectiv M  1 observaţii asupra proce-
sului sunt legate prin următoarele relaţii:
 r  0 rH  R M r B 
   
R M 1    sau echivalent R M 1    (3.71)
r R M  r BT r  0

unde r  0 este autocorelaţia procesului pentru întârziere 0 şi:

r H   r 1 r  2 r  M 
(3.72)
r BT
  r   M  r   M  1 r  1

Pentru a demonstra prima parte a ecuaţiei (3.71), se exprimă R M 1 prin utilizarea

partiţiei de mai jos:
 r  0 r 1 r  2 r M  
 
 
 r  1 r  0 r 1 r  M  1 
R M 1     (3.73)
 r  2 r 1 r  0 r  M  2 


 
  
 r  M  r   M  1 r   M  2 r  0 
Identic se demonstrează şi partea a doua a ecuaţiei (3.71).

3.5.3 Matricea de corelaţie a unei sinusoide complexe

înecate în zgomot aditiv
Sinusoida înecată în zgomot reprezintă o serie temporală ce prezintă un interes deosebit în
multe aplicaţii importante de prelucrare a semnalelor. De exemplu, ea poate reprezenta
semnalul compus de la intrarea unui receptor, sinusoida complexă constituind semnalul util
iar zgomotul fiind datorat fenomenelor termice de la intrarea receptorului.
54 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

Vom nota prin  şi  amplitudinea, respectiv pulsaţia sinusoidei complexe. În ceea ce

priveşte zgomotul, el este presupus de medie nulă,   n , fiind eşantionul de la momentul
n . Seria temporală ce constă din sinusoida complexă plus zgomot se scrie astfel:
u  n   exp  jn    n, n  0,1, , N 1 (3.74)
Cele două componente ale procesului sunt independente una de alta iar media lui u  n este
evident egală cu  exp  jn  .
Pentru a calcula funcţia de autocorelaţie a procesului u  n este nevoie, fără îndoială, să
fie cunoscută funcţia de autocorelaţie a zgomotului. Vom presupune că acesta este zgomot
alb introdus în paragraful 3.3.2, fiind caracterizat de următoarea funcţie de autocorelaţie
 2 , k  0
E   n   n  k     (3.75)
0, k 0
Sursele ce generează sinusoida complexă şi zgomotul sunt independente şi, prin urmare
necorelate, astfel încât funcţia de autocorelaţie a procesului u  n este egală cu suma
funcţiilor de autocorelaţie a celor două componente. În consecinţă, utilizăm ecuaţiile (3.74)
şi (3.75) pentru a stabili funcţia de autocorelaţie pentru o întârziere de valoare k :

    ,
2 2
k 0
r  k   E u  n u  n  k    2

(3.76)
  exp  jk  , k  0

De remarcat că pentru o deplasare k  0 , funcţia de autocorelaţie r  k  este, cu excepţia
amplitudinii, aceiaşi sinusoidă cu cea din procesul u  n .
Pentru M observaţii, u  n , u  n  1, , u  n  M  1 făcute asupra procesului aleator,
matricea de corelaţie se calculează, utilizând rezultatul din (3.76) în definiţia (3.62):
1  1  exp  j  exp  j  M  1   
exp  j exp  j  M  2   

  11 
R  
2
(3.77)
 
 
exp   j  M  1   exp   j  M  2    11  
unde  este raportul semnal-zgomot definit prin

2

 2 (3.78)
v
Un caz particular al situaţiei descrise anterior este cel în care din componenţa procesului
aleator (3.74) dispare zgomotul. Prin urmare,    . De asemenea, pentru comoditate,
M  3 . Particularizând în (3.77), matricea de corelaţie a acestei serii temporale este:
 3.6 Vectori şi valori proprii ale matricii de corelaţie 55

1 exp  j  exp  j 2  
 
R   exp   j  1 exp  j  
2
(3.79)
exp   j 2  exp   j  1 

Este simplu de observat din (3.79) că atât determinantul lui R cât şi determinanţii tuturor
minorilor principali ai acestuia sunt nuli. Prin urmare, această matrice de corelaţie este
singulară.
O generalizare a rezultatului de mai sus se referă la un proces u  n ce constă din
M eşantioane obţinute prin însumarea a K sinusoide ( K  M ) şi care nu conţine zgomot
aditiv. Matricea de corelaţie a unui asemenea proces este, de asemenea, singulară.

3.6 Vectori şi valori proprii ale matricii de

corelaţie
Matricea de corelaţie a unui proces aleator în timp discret staţionar este hermitică, fapt ce
permite descompunerea convenabilă a acesteia în funcţie de valorile şi vectorii săi proprii.
Această formă de reprezentare este utilă în prelucrarea digitală a semnalelor.

3.6.1 Problema valorilor proprii

Vectorul propriu de dimensiune M 1 al matricii de corelaţie R notat prin q satisface
condiţia:
Rq  q (3.80)
unde  este o constantă particulară. Conform condiţiei, vectorul q este transformat în
vectorul q de către matricea hermitică R . Mărimea  fiind o constantă, vectorul q are
semnificaţia specială că rămâne invariant în direcţie (în spaţiul M dimensional) în urma
transformării liniare R . Vectorii proprii ai unei matricii R de dimensiune M  M sunt în
număr de M şi se pot obţine prin rezolvarea ecuaţiei (3.80), rescrisă sub forma:
 R  I  q  0 (3.81)
unde I este matricea identitate de dimensiune M  M iar 0 este vectorul de dimensiune
M 1 nul. Matricea  R  I  trebuie să fie singulară, pentru că există soluţii nenule pentru
q dacă şi numai dacă:
det  R  I   0 (3.82)
Dezvoltarea determinantului (3.82) conduce evident la un polinom în  de gradul M cu
M rădăcini pentru  . În consecinţă, (3.81) are M soluţii pentru vectorul q .
Ecuaţia (3.82) se numeşte ecuaţia caracteristică a matricii R . Rădăcinile 1 , 2 , , M
ale ecuaţiei sunt denumite valori proprii ale matricii R . Acestea pot fi sau nu distincte.
56 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

Atunci când ecuaţia caracteristică (3.82) are rădăcini multiple, se spune că matricea R are
valori proprii degenerate.
Să notăm prin i , o valoare proprie a lui R . De asemenea, fie q i un vector nenul,
astfel că:
Rqi  i qi (3.83)
Vectorul q i se numeşte vector propriu asociat lui i . Un vector propriu poate cores-
punde unei singure valori proprii. Totuşi, o valoare proprie poate avea mai mulţi vectori
proprii, întrucât dacă q i este un vector propriu asociat valorii proprii i atunci şi a q i are
aceiaşi proprietate,  a  0 . Putem spune, în consecinţă, că, dacă R are M valori proprii
distincte i , acestora le corespund M vectori proprii distincţi până la un factor de scară.
Dacă, în schimb, m este o valoare proprie degenerată a lui R repetată de p ori, atunci
rangul matricii R  m I se reduce astfel încât soluţia ecuaţiei (3.80), q m poate fi orice
vector dintr-un subspaţiu p-dimensional al spaţiului vectorial cu M dimensiuni.
Exemplul 3.2: Zgomot alb
Matricea de corelaţie de dimensiune M  M a unui proces de zgomot alb este
diagonală (vezi (3.47) şi (3.62)):
R  diag  2 , 2 , , 2 

unde  2 este varianţa procesului. Matricea R are o singură valoare proprie dege-
nerată de multiplicitate M egală cu  2 . Orice vector de dimensiune M 1 poate
reprezenta un vector propriu asociat.
Exemplul 3.3: Sinusoidă complexă
Fie matricea de corelaţie de dimensiune M  M a unei serii de timp a cărei
elemente sunt eşantioanele unei sinusoide complexe de fază aleatoare şi putere
unitară:
1 e j e j  M 1 
  j 
e 1 e j  M  2 
R 
 
e j  M 1 e j  M  2 
 1 
unde  este frecvenţa sinusoidei complexe. Vectorul de dimensiune M 1
q  1 e j e j  M 1 
este un vector propriu al matricii R , iar valoarea proprie corespunzătoare este M
(adică dimensiunea matricii R ). Cu alte cuvinte, o sinusoidă complexă este un
vector propriu al propriei sale matrici de corelaţie, cu excepţia operaţiei triviale
de conjugare complexă.
 3.6 Vectori şi valori proprii ale matricii de corelaţie 57

Trebuie remarcat că matricea R are rangul 1, ceea ce înseamnă că orice coloană

a lui R poate fi exprimată ca o combinaţie lineară a celorlalte coloane. Drept
urmare, celelalte valori proprii sunt 0 cu ordinul de multiplicitate M  1 , şi acestei
valori proprii îi corespund M  1 vectori proprii.

3.6.2 Proprietăţile valorilor şi vectorilor proprii

La originea acestor proprietăţi stă caracterul hermitic al matricii de corelaţie a unui proces
aleator staţionar. Pe de altă parte, aceste proprietăţi au aplicaţii importante în ceea ce priveşte
analiza şi sinteza unor algoritmi eficienţi de filtrare adaptivă.
Proprietatea 1: Dacă 1 , 2 , , M sunt valorile proprii ale matricii de corelaţie
R , atunci matricea R are valorile proprii 1k , 2k ,
k
, Mk ,  k  
.
Demonstraţia se face prin multiplicarea repetată a ecuaţiei (3.80) cu matricea R :
Rk q   k q (3.84)
În consecinţă:
1. dacă  este o valoare proprie a lui R , atunci  k este o valoare proprie a lui
Rk ;
2. fiecare vector propriu al lui R este vector propriu al lui R k .
Proprietatea 2: Dacă valorile proprii ale lui R sunt distincte: 1 , 2 , , M ,
atunci vectorii proprii corespunzători q1 , q2 , , qM sunt liniar independenţi.
Se utilizează Proprietatea 1 în demonstrarea acestei proprietăţi. Dacă există M scalari
 i nu toţi nuli, astfel încât
M

 q
i 1
i i 0, (3.85)

atunci se spune că vectorii q i sunt linear dependenţi. Vom presupune că relaţia (3.85) este
satisfăcută fără ca toţi scalarii  i să fie nuli iar valorile proprii i sunt toate distincte. În
continuare, multiplicăm repetat pe (3.85) cu R k , k  0,1, , M  1 şi folosim Proprieta-
tea 1 pentru a scrie
M M

i R k qi  i  k qi  0, k  0,1,

i 1 i 1
M 1

Expresia poate fi rescrisă în format matricial pentru i  1,2, ,M

1 1  1
2
1M 1 
 
1 2  2
2M 1 
1q1  2q 2  M qM   2
0 (3.86)
 
 
1 M M2 MM 1 
58 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

Cum toate valorile i sunt distincte, matricea pătrată din (3.86) este nesingulară, fiind o
matrice Vandermonde. Prin urmare, postmultiplicând ambii termeni ai ecuaţiei (3.86) cu
inversa matricii Vandermonde, se obţine:
1q1  2q 2  M qM   0 (3.87)
Întrucât vectorii proprii q i nu sunt nuli, singurul mod în care relaţia (3.87) poate fi înde-
plinită este ca toţi coeficienţii  i să fie nuli. Consecinţa este că (3.85) nu este îndeplinită,
oricare ar fi setul de scalari nenuli  i , ceea ce implică faptul că vectorii q i sunt linear
independenţi.
Conform acestei proprietăţi , vectorii proprii lineari independenţi q1 , q2 , , q M pot
servi drept bază pentru reprezentarea unui vector arbitrar w de aceleaşi dimensiuni ca şi
vectorii proprii. În particular, w se exprimă printr-o combinaţie lineară de vectori proprii
astfel:
M
w   i qi (3.88)
i 1

unde 1 , 2 , , M sunt constante.

Proprietatea 3: Toate valorile proprii 1 , 2 , , M ale matricei de corelaţie R
de dimensiune M  M sunt reale şi nenegative.
Se scrie relaţia de definiţie a valorii proprii i :
Rqi  i qi , i  1, 2, , M (3.89)
Premultiplicând ambii termeni ai ecuaţiei cu q iH , transpusa hermitică a vectorului propriu
q i , se obţine:
qiH Rqi  i qiH qi , i  1,2, ,M (3.90)
De aici:
qiH Rqi
i  , i  1, 2,...., M (3.91)
qiH qi
În ultima relaţie, qiH qi reprezintă pătratul lungimii euclidiene a vectorului propriu q i ,
prin urmare qiH qi  0 . La numărătorul expresiei se recunoaşte forma hermitică qiH Rqi ,
care pentru o matrice de corelaţie este, conform Proprietăţii 3 a acestora, întotdeauna reală
şi nenegativă: qiH Rqi  0 . Rezultă deci că i  0; i  1,2,...., M .
Proprietatea 4: Oricare doi vectori proprii distincţi qi , q j ce corespund valorilor
proprii i   j , i  j sunt ortogonali:
qiH q j  0, i  j (3.92)
 3.6 Vectori şi valori proprii ale matricii de corelaţie 59

Se scriu ecuaţiile de definire ale vectorilor proprii qi , q j :

Rqi  i qi , Rq j =  j q j (3.93)

Premultiplicăm cei doi membrii ai primei ecuaţii din (3.93) cu q Hj :

q Hj Rqi  i q Hj qi (3.94)
Pe de altă parte, calculăm transpusa hermitică a celei de a doua ecuaţii din (3.93) şi
avem în vedere că matricea de corelaţie R este hermitică, R H  R :
q Hj R   j q Hj (3.95)
Postmultiplicăm în continuare ecuaţia (3.95) cu vectorul q i :
q Hj Rqi   j q Hj qi , (3.96)
şi scădem ecuaţia (3.96) din (3.94):
   q
i j
H
j qi  0 (3.97)
Întrucât valorile proprii ale matricii R se presupun a fi distincte i   j , rezultă că
ecuaţia (3.97) este îndeplinită dacă şi numai dacă:
q Hj qi  0, i  j (3.98)
Proprietatea 5: Transformarea unitară de similaritate
Fie vectorii proprii q1 , q2 ,...., q M care corespund valorilor proprii distincte 1 , 2 ,
, M ale matricii de corelaţie R de dimensiune M  M . Din vectorii proprii se
constituie matricea de dimensiune M  M :
Q  q1 q2 qM  (3.99)
unde
1, i  j
qiH q j   . (3.100)
0, i  j
Se defineşte matricea diagonală de dimensiune M  M :
Λ  diag (1 , 2 ,, M ) (3.101)
În aceste condiţii, matricea originală R se poate diagonaliza astfel:
QH RQ  Λ (3.102)
Condiţia ca q qi  1 pentru i  1,2, , M cere ca fiecare vector propriu să fie
H
i

normalizat la lungimea 1. Lungimea la pătrat sau norma la pătrat a vectorului q i este

definită ca produsul scalar qiH qi . Condiţia de ortogonalitate: qiH q j  0 pentru i  j rezultă
din Proprietatea 4. Când sunt satisfăcute ambele condiţii (vezi ecuaţia (3.100)), se spune că
60 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

vectorii proprii q1 , q2 ,...., q M formează un set ortonormat. Prin definiţie, vectorii proprii
q1 , q2 ,...., q M satisfac ecuaţiile (vezi (3.83))
Rqi  i qi , i  1,2,, M (3.103)
Matricea Q de dimensiune M  M are drept coloane setul ortonormat de vectori
proprii q1 , q2 ,...., q M , cu alte cuvinte:
Q  q1 q2 qM  (3.99)
Matricea diagonală Λ de dimensiune M  M are valorile proprii 1 , 2 , , M drept ele-
mente ale diagonalei sale principale:
Λ  diag (1 , 2 ,, M ) (3.101)
Drept urmare, se pot scrie cele M ecuaţii (3.103) ca o singură ecuaţie matricială:
RQ = QΛ (3.104)
Dată fiind natura ortonormată a vectorilor proprii, aşa cum sunt definiţi prin ecuaţia
(3.100), se scrie:
QH Q = I
ceea ce este echivalent cu:
Q1  QH (3.105)
O matrice ce se bucură de această proprietate este denumită matrice unitară.
Premultiplicând ambii membrii ai ecuaţiei (3.104) cu Q H şi ţinând cont de (3.105), se
obţine transformarea unitară de similaritate:
QH RQ = Λ (3.106)
Dacă postmultiplicăm ambele părţi ale ecuaţiei (3.104) cu matricea inversă Q 1 şi se
utilizează apoi proprietatea (3.105), rezultă:
M
R = QΛQH   i qi  qiH (3.107)
i 1

unde M este dimensiunea matricii R .

Proprietatea 6: Fie 1 , 2 , , M valori proprii ale matricei de corelaţie R de
dimensiune M  M . Suma acestor valori proprii este egală cu urma matricii R .
Urma (trasa) unei matricii pătrate se defineşte ca suma elementelor diagonale ale
matricii. Dacă se extrage urma pentru ambii membrii ai ecuaţiei (3.106), se poate scrie:
tr QH RQ  tr  Λ  (3.108)
Matricea diagonală Λ are drept elemente diagonale valorile proprii ale lui R :
M
tr  Λ    i (3.109)
i 1
 3.6 Vectori şi valori proprii ale matricii de corelaţie 61

Utilizând o regulă din algebra matricială, se poate scrie:

tr QH RQ  tr RQQH 

Însă QQH  I , şi prin urmare:

tr QH RQ  tr  R  ,
consecinţa fiind că ecuaţia (3.108) poate fi scrisă ca:
M
tr  R    i (3.110)
i 1

Proprietatea 7: Raportul valorilor proprii maxime şi minime ale matricii de

corelaţie a unui proces aleator în timp discret este limitat superior de raportul
valorilor maxime şi minime ale densităţii spectrale de putere a procesului.
Vom nota prin i şi q i , i  1, 2, , M , valorile proprii, respectiv vectorii proprii
asociaţi matricii de corelaţie R de dimensiuni M  M a unui proces aleator în timp discret
u  n . Din ecuaţia (3.91) avem
qiH Rqi
i  , i  1, 2,...., M
qiH qi
Forma hermitică de la numărătorul expresiei de mai sus poate fi dezvoltată astfel:
M M
qiH Rqi   qik* r l  k  qil (3.111)
k 1 l 1

unde qik* este elementul k al vectorului linie q iH , r l  k  este elementul kl al matricii R ,

iar qil este elementul l al vectorului coloană q i . Folosim teorema Wiener-Hincin din (3.41)
pentru a scrie
1 
r l  k     S   e
j  l  k 
d (3.112)
2 

unde S    este densitatea spectrală de putere a procesului u  n . Cu înlocuirea din (3.112),

rescriem ecuaţia (3.111) astfel
M M 
1
qiH Rqi 
2
 q q   S    e
k 1 l 1
*
ik il 
j l  k 
d
M M
(3.113)
1 
  d S     q q e
*  jk jl
 e
2  ik il
k 1 l 1

Vom nota transformata Fourier a secvenţei qi*1 , qi*2 , , qi*1 , qiM

*
prin
M
Qi      qik* e jk (3.114)
k 1

În consecinţă, înlocuind ecuaţia (3.114) în (3.113), obţinem

62 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

1 
  Q   S   d 
2
qiH Rqi  (3.115)
2  i

Similar, se poate arăta că

1 
 Qi    d 
2
qiH qi  (3.116)
2 
Rezultatul ultimelor relaţii este că valoarea proprie i a matricii de corelaţie R poate fi
exprimată, pe baza relaţiei (3.91), prin intermediul densităţii spectrale de putere asociate
astfel

 Q    S    d 
2
i
i    
(3.117)
  Q    d 
2

 i

Vom nota prin Smin respectiv Smax valorile minime şi maxime absolute ale densităţii
spectrale de putere S    . Rezultă că
 
  Q   S   d   S   Q  
2 2
i min  i d (3.118)


şi
 
  Q   S   d   S   Q  
2 2
i max  i d (3.119)


Se deduce, prin urmare, că valorile proprii i sunt mărginite de către valorile maxime şi
minime ale densităţii spectrale de putere asociate astfel:
Smin  i  Smax , i  1, 2, ,M (3.120)
Facem acum o digresiune necesară pentru a introduce mărimea denumită numărul de
condiţionare   A  a unei matrici A . Mărimea descrie calitatea unei matrici din punctul de
vedere a operaţiei de inversare. Cu cât numărul de condiţionare a unei matrici este mai mare,
cu atât sunt mai mari erorile care apar la inversarea ei, fapt ce ar putea provoca probleme la
rezolvarea sistemelor de ecuaţii, operaţie care implică calculul lui R 1 . Se spune în acest
caz că matricea considerată este rău condiţionată . Pentru o matrice de corelaţie R ,
numărul de condiţionare este dat de raportul valorilor proprii asociate extreme max şi min ,
fiind denumit din acest motiv şi grad de împrăştiere a valorilor proprii:

  R   max (3.121)
min
Revenind la relaţia (3.120), ea implică o limitare a valorilor   R  , aşa cum evidenţiază
relaţia de mai jos
max Smax
 R   (3.122)
min Smin
 3.6 Vectori şi valori proprii ale matricii de corelaţie 63

Să mai remarcăm că pe măsură ce dimensiunea M a matricii de corelaţie tinde către infinit,

valoarea maximă max se apropie de Smax , iar valoarea minimă min de Smin .
Proprietatea 8: Fie matricea de corelaţie R de dimensiune M  M ce are valori-
le proprii 1  2   M unde 1 şi M sunt cea mai mică respectiv cea mai
mare valoare proprie a lui R şi un vector oarecare x din spaţiul subîntins de
vectorii proprii q1 , q2 , , qM . Se defineşte coeficientul Rayleigh al vectorului x
prin:
x H Rx
R  x  (3.123)
xH x
În aceste condiţii:
R  q1   R  x   R  q M  (3.124)
unde conform ecuaţiei (3.91) R  q1   1 şi R  q M   M .
Proprietatea 9: Transformarea Karhunen-Loève
Fie vectorul u  n de dimensiune M 1 , reprezentând o secvenţă de date extrasă
dintr-un proces staţionar în sens larg de medie zero şi matrice de corelaţie R . Fie
q1 , q2 , , q M vectorii proprii asociaţi cu cele M valori proprii ale matricii R .
Vectorul u  n poate fi exprimat printr-o combinaţie lineară a acestor vectori
proprii astfel:
M
u  n   ui  n  qi (3.125)
i 1

Coeficienţii dezvoltării (3.125) sunt variabile aleatoare necorelate de medie zero

definite prin produsul scalar
ui  n  qiH u  n , i  1, ,M (3.126)
Reprezentarea vectorului aleator u  n descris prin ecuaţiile (3.125) şi (3.126) este
versiunea în timp discret a transformării Karhunen-Loève (TKL). În particular, ecuaţia
(3.126) reprezintă partea de „analiză” a transformării pentru că defineşte pe ui  n în funcţie
de vectorul de intrare u  n . Pe de altă parte, ecuaţia (3.125) face „sinteza” semnalului
original u  n pe baza componentelor ui  n .
Formăm vectorul u  n ale cărui componente sunt ui  n , i  1, , M , transformatele
TKL ale secvenţei u  n :

u n  u1  n u2  n uM  n

T
(3.127)
În aceste condiţii, ecuaţiile de „analiză” (3.126) se rescriu, având în vedere ecuaţia (3.99),
într-o formă compactă:
64 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

u  n  QH u  n (3.128)

Vom stabili în continuare proprietăţile vectorului u  n . Pentru început, matricea de

corelaţie a vectorului:
E u n uH  n  QH E u  nu H  n Q  QH RQ (3.129)
Înlocuim pe R din (3.107) şi presupunem că vectorii proprii q1 , q2 , , qM sunt normali-
zaţi astfel încât Q Q   . Se obţine
H

E u n uH  n   (3.130)

Matricea  este diagonală, ceea ce demonstrează că elementele lui u  n sunt necore-

late unul cu celălalt. Acestea sunt variabile aleatoare ale căror proprietăţi rezultă din (3.128)
şi (3.130), confirmând afirmaţiile din enunţ:
 , i  j
E ui  n  0, i  1, M  şi E ui  n u j*  n    i , (3.131)
0, i  j
Şi ecuaţia de „sinteză” (3.125) poate fi rescrisă în format matricial:
u  n  Qu n (3.132)
Pentru a da o interpretare fizică transformării Karhunen-Loève, putem vedea vectorii
proprii q1 , q2 , , qM drept axe de coordonate ale unui spaţiu M-dimensional, reprezentând
astfel vectorul aleator u  n prin proiecţiile sale pe aceste axe u1  n , u2  n , , uM  n .
Exemplul 3.4: Un proces aleator staţionar în sens larg de medie nulă este
caracterizat prin valorile funcţiei de autocorelaţie: r 0  1, r 1   ,   1,
  . Secvenţa u  n  1 0 este extrasă din proces. Se cer să se determine:
a. expresia matricii de corelaţie R ;
b. expresiile valorilor proprii i , ale vectorilor proprii qi , i  1, 2 şi ale
gradului de împrăştiere a valorilor proprii   R  ;
c. transformarea Karhunen-Loève (TKL) a vectorului u  n .
Soluţie: Matricea de corelaţie a procesului aleator este
1  
R 
 1 
Valorile proprii ale lui R reprezintă soluţiile ecuaţiei caracteristice
1  
det  R   I   0
 1 
Soluţiile sunt: 1  1   , 2  1   .
 3.7 Filtre adaptate şi filtre proprii 65

Gradul de împrăştiere a valorilor proprii ale matricii R este dat de

max 1  
 R  
min 1  
Valoarea minimă a lui   R  se obţine atunci când   0 . Acest caz
corespunde la   R   1 , şi conform Proprietăţii 7, Smax  Smin , adică procesul
aleator are spectrul de frecvenţă constant. Rezultatul este previzibil, având în
vedere faptul că procesul este zgomot alb.
Vectorii proprii q1 şi q 2 sunt soluţii ale ecuaţiilor
1  i    qi1  0
 , i  1, 2

 1     qi 2  0
adică q11  q12 , q21  q22
Valorile normalizate ale vectorilor proprii sunt
1 1 1 1  1 1 1 
q1  1 , q 2   1 , Q   
2  2  2 1 1
Se observă proprietatea interesantă a vectorilor proprii ai matricii de core-
laţie de dimensiune 2  2 de a fi independenţi de parametrul  . Drept urmare,
transformarea TKL efectuată de matricea Q , are drept consecinţă rotirea cu 45° a
axelor de reprezentare
 u  n  1 1 1  1  1 1
u  n    1   Q H u  n        .
u2  n 2 1 1 0 2 1

3.7 Filtre adaptate şi filtre proprii

O problemă fundamentală în teoria comunicării este cea a determinării filtrului cu răspuns
finit la impuls (FIR) optim, criteriul de optimizare fiind maximizarea raportului semnal
zgomot la ieşire. Asemenea filtre sunt utilizate la detecţia semnalelor înecate în zgomot în
multe aplicaţii dintre care se pot aminti comunicaţiile digitale şi radiolocaţia. Pentru început,
vom discuta despre filtrarea optimală a unui semnal determinist de formă cunoscută înecat
în zgomot, pentru ca în continuare să extindem rezultatele la cazul unui semnal aleator
înecat în zgomot.
Fie un filtru linear FIR al cărui răspuns la impuls este reprezentat de vectorul
w   w1 wM  (Figura 3.3). La intrarea filtrului se aplică secvenţa x  n ce
T
w2
constă dintr-o componentă de semnal util s  n  plus o componentă de zgomot aditiv v  n .
Considerând vectorii ce desemnează eşantioanele acestora pentru ultimele M momente de
timp, vom scrie
66 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

Figura 3.3 Configuraţie de filtrare lineară utilizată la determina-

rea filtrului optimal.
x  n  s  n  v  n (3.133)
Vom studia două cazuri distincte. Pe de o parte, semnalul util s  n  poate fi un semnal
determinist de forma s  n   s0 unde s 0 este forma complet cunoscută a lui s  n  iar 
este o variabilă aleatoare de putere (varianţă) P . Argumentul arg   reprezintă faza iniţia-
lă iar modulul  amplitudinea semnalului s  n  . În al doilea rând, el poate fi un proces
stochastic, staţionar în sens larg cu medie nulă şi matrice de corelaţie R . Zgomotul v  n
are medie nulă, este alb cu densitatea spectrală de putere constantă determinată de varianţă
 2 . Se presupune că semnalul s  n şi zgomotul v  n sunt necorelate, adică:
E  s  n v*  m  0,   n, m  (3.134)

Expresia semnalului de ieşire al filtrului y  n este

M
y  n   wi* x  n  i  1  w H x  n  w H s  n   w H v  n  (3.135)
i 1

unde vectorul de intrare este x  n   x  n x  n  1 x  n  M  1 . Puterea semna-

T

lului de ieşire este calculată în conformitate cu definiţia din relaţia (3.22):

Py  E  y  n   E  w H x  n x H  n w   w H R x w
2
(3.136)
 
Vom considera în continuare separat efectul semnalului util şi al zgomotului la ieşirea
filtrului. Notăm prin N o puterea medie a componentei de zgomot din semnalul de ieşire
y  n . Având în vedere că matricea de corelaţie a zgomotului alb este  2 I M , relaţia (3.136)
devine:
No   2 w H w (3.137)
Calculul raportului semnal zgomot la ieşirea filtrului  RSZ o şi optimizarea acestuia
constituie obiectivul pe care îl urmărim în continuare. După cum se va arăta, filtrul care
maximizează  RSZ o depinde de natura semnalului util de la intrare, s  n  .
 3.7 Filtre adaptate şi filtre proprii 67

3.7.1 Filtrul adaptat

În cazul în care semnalul de intrare este determinist, s  n   s0 , puterea la ieşire datorată
semnalului util se calculează cu
Ps  E   w H s0    w H s0  P w H s0
2 2 2
(3.138)
 
iar raportul semnal zgomot la ieşire are valoarea
H 2
Ps P w s0
 RSZo   (3.139)
No  2 w H w
Maximizarea expresiei (3.139) este simplă, dacă se recurge la inegalitatea
Cauchy-Schwartz. Aplicată numărătorului ultimei expresii, această inegalitate conduce la
w H s0   w H w  s s 
12 H 12
0 0 (3.140)

astfel încât se poate afirma că maximul raportului  RSZ o

P
 RSZo,max  s0H s0 (3.141)
 2

este atins atunci când coeficienţii filtrului optim sunt stabiliţi de relaţia
w 0   s0 (3.142)
În concluzie, în cazul filtrării optimale a unui semnal de formă cunoscută, coeficienţii
filtrului optimal reprezintă o replică la scară a formei cunoscute a semnalului util s  n  .
Proprietatea (3.142) a filtrului optimal face ca acesta să poarte în acest caz numele de
filtru adaptat. Este un dispozitiv utilizat pe larg în aplicaţii de telecomunicaţii şi radiolocaţie.
De observat că, dacă un vector w 0 maximizează raportul  RSZ o din (3.139), atunci orica-
re ar fi constanta  cu care se multiplică acesta, această proprietate se păstrează. Prin urma-
re, alegerea constantei  rămâne arbitrară. Aici, constanta a fost aleasă astfel, încât să avem
w 0H s0  1 .

3.7.2 Filtrul propriu

O soluţie diferită faţă de cea realizată în cazul filtrării optimale a unui semnal de formă
cunoscută se obţine pentru situaţia în care semnalul s  n  este aleator, staţionar în sens larg şi
având matricea de corelaţie R cunoscută. În acest caz, după cum se arată în continuare,
soluţia optimală pentru coeficienţii filtrului este vectorul propriu q max al matricii R ce
corespunde valorii proprii maxime max a aceleiaşi matrici. Aceasta este explicaţia numelui
de filtru propriu acordat acestui filtru optimal.
Pentru început, recalculăm puterea de ieşire ce corespunde semnalului util s  n  notată
prin Ps
68 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

Ps  E  w H s  n   w H E s  ns H  n w  w H Rw

2
(3.143)
 
Continuăm apoi prin calculul raportului semnal zgomot la ieşire
Ps w H Rw
 RSZo   2 H (3.144)
No  w w
Problema de optimizare poate fi acum formulată astfel: Să se determine vectorul w al
coeficienţilor filtrului FIR care maximizează valoarea raportului semnal zgomot la ieşire
 RSZo supus la constrângerea w H w  1.
Ecuaţia (3.144) arată, că exceptând factorul de scară 1  2 , raportul semnal zgomot la
ieşire  RSZ o este egal cu coeficientul Rayleigh al vectorului ponderilor filtrului FIR w
(relaţia (3.123). Se observă, prin urmare, că problema filtrării optime, aşa cum a fost formu-
lată aici, poate fi văzută ca o problemă de valori proprii. Într-adevăr, soluţia problemei
rezultă direct din Proprietatea 9 a valorilor şi vectorilor proprii ai matricii de corelaţie R
(Manolakis, ş.a. 2005). Utilizând (3.124), se pot afirma următoarele (Haykin 1996):
 Valoarea maximă a raportului semnal zgomot este dată de:
max
 RSZo,max  (3.145)
2
unde max este cea mai mare valoare proprie a matricii de corelaţie R .
 Vectorul coeficienţilor filtrului FIR optim care produce raportul semnal zgomot maxim
din relaţia (3.145) se defineşte prin
w o  qmax (3.146)
unde q max este vectorul propriu asociat celei mai mari valori proprii a matricii de
corelaţie R . Este vorba de matricea de corelaţie a semnalului util de la intrare
s  n .
Un filtru FIR al cărui răspuns la impuls are coeficienţii egali cu elementele unui vector
propriu este denumit filtru propriu (Makhoul 1981). Putem enunţa că filtrul optim este filtrul
asociat celei mai mari valori proprii a matricii de corelaţie a componentei utile din semna-
lul de la intrare.

3.8 Transformări care utilizează

descompunerea triunghiulară
Transformările lineare introduse în paragraful 3.6.2 se bazează pe diagonalizarea unei
matrici hermitice prin vectori şi valori proprii. Aceste transformări sunt deosebit de utile în
aplicaţii de detecţie şi estimare (Manolakis, ş.a. 2005). Descompunerea în matrici triunghiu-
lare conduce la transformări reprezentate prin operaţii de filtrare cauzală sau anticauzală a
secvenţelor asociate. Există două tipuri de descompuneri triunghiulare: LDU
 3.8 Transformări care utilizează descompunerea triunghiulară 69

(Lower-Diagonal-Upper ~ Inferior-Diagonal-Superior) la care se asociază filtrarea cauzală

şi UDL (Upper-Diagonal-Lower ~ Superior-Diagonal-Inferior) căreia îi corespunde filtra-
rea anticauzală.

3.8.1 Descompunerea LDU

Orice matrice hermitică, pozitiv definită R poate fi factorizată astfel (Golub şi Van_Loan
1996)
R  LDL LH (3.147)
1 H
sau echivalent L RL  DL (3.148)
unde L este o matrice unitară inferior triunghiulară, D L este o matrice diagonală cu
elemente pozitive iar LH este o matrice unitară superior triunghiulară.
Matricea L fiind inferior triunghiulară, det  R   i 1il , unde  il sunt elementele de
M

pe diagonala lui D L . Dacă pentru vectorul de date de intrare u , definim transformarea

lineară
w  L1u Bu (3.149)
atunci se găseşte că
R w  E ww H   L1 E uu H  L H  L1RL H  DL (3.150)

Este evident că elementele vectorului w sunt ortogonale iar valorile  kl sunt momen-
tele lor de ordinul doi. Drept urmare, această transformare pare a fi similară unei transfor-
mări ortogonale. Totuşi, spre deosebire de o transformare ortogonală, LDU nu constă într-o
simplă rotaţie a vectorului u (Manolakis, ş.a. 2005). Pentru a înţelege transformarea, să
observăm pentru început că B  L1 este, de asemenea, o matrice unitară inferior triunghiu-
lară. Atunci, (3.149) se poate scrie astfel:
 w1  1 0 0  u1 
    
    
 wi   bi1 1 0  ui  (3.151)
    
    
 wM  bM 1 bMi 1  uM 
unde bik sunt elemente ale lui B . Ecuaţia (3.151) evidenţiază că wi este o combinaţie linea-
ră de uk , k  i , componente ale vectorului de intrare:
i
wi   bik uk , 1  i  M (3.152)
k 1

Dacă vectorul semnalului de intrare este alcătuit din eşantioane succesive ale procesului
aleator în timp discret u  n , adică u  u  n u  n  1 u  n  M  1 , atunci
T
70 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

ecuaţia (3.152) exprimă o operaţie de filtrare lineară cauzală a secvenţei aleatoare de la

intrare. Această transformare este utilizată frecvent în probleme de filtrare lineară optimală
şi predicţie lineară.

3.8.2 Descompunerea UDL

Acest procedeu de diagonalizare este aproape identic cu cel descris în paragraful anterior. El
constă în factorizarea unei matrici hermitice unitare pozitiv definite într-o formă superior-
diagonal-inferior:
R  UDU U H (3.153)
sau, echivalent U1RU H  DU  diag 1u , , Mu  (3.154)

în care U este o matrice unitară superior triunghiulară, U H este o matrice unitară inferior
triunghiulară iar DU este o matrice diagonală cu elemente pozitive. Trebuie remarcat că
U H  L şi DU  DL . Urmând aceeaşi analiză ca şi în paragraful precedent, avem
det  R   det  DU   i 1iu . Întrucât A  U1 este o matrice unitară superior triunghiu-
M

lară în transformarea w  U1u , componentele lui w sunt ortogonale şi se exprimă prin

combinaţii lineare de uk , k  i , adică
M
wi   lik uk , 1  i  M (3.155)
k i

Dacă u este o secvenţă de eşantioane succesive ale unui semnal în timp discret, (3.155) se
constituie într-o operaţie de filtrare anticauzală a acestei secvenţe.

3.9 Modelarea lineară a semnalelor

stochastice
Utilizăm aici termenul de model pentru a desemna orice ipoteză care încearcă să explice sau
să descrie legile, în general necunoscute, care se presupun că guvernează generararea
semnalelor fizice de interes. Primul care a avut ideea de a reprezenta un proces aleator
printr-un model a fost Yule în 1927 (Haykin 1996).
În acest paragraf, vom introduce şi analiza proprietăţile unei clase speciale de secvenţe
aleatoare staţionare care se obţin prin trecerea zgomotului alb prin sisteme lineare şi inva-
riante în timp. Un proces aleator este adeseori modelat ca fiind răspunsul unui sistem la un
alt proces având caracteristici mai simple. Ideea esenţială este că o serie temporală u  n ce
constă din „observaţii” puternic corelate, poate fi generată de ieşirea unui filtru linear la a
cărui intrare se aplică o serie temporală alcătuită din eşantioane independente ca în Figura
3.4 (Kay 1988, Manolakis, ş.a. 2005). Drept intrare în filtru se foloseşte, de obicei, o serie de
variabile aleatoare extrase dintr-o distribuţie gaussiană de medie nulă şi varianţă constantă.
O astfel de serie de variabile aleatoare se constituie în procesul aleator pe care l-am denumit
 3.9 Modelarea lineară a semnalelor stochastice 71

Figura 3.4 Utilizarea filtrului linear pentru a genera un

proces aleator.

zgomot alb gaussian. În termeni statistici, seria temporală de la intrarea sistemului din
Figura 3.4 se descrie astfel:
 2 , k  n
E v  n  0, n şi E v  n v*  k    v (3.156)
0, altfel
Filtrul linear din Figura 3.4 poate avea diferite structuri care corespund unor modele
distincte pentru semnalul de ieşire. Pot fi identificate trei tipuri clasice de modele lineare
stochastice:
 Model cu medie alunecătoare (MA – Moving Average),
 Model autoregresiv (AR – Autoregressive),
 Model mixt autoregresiv cu medie alunecătoare (ARMA).
În cele ce urmează, vom descrie aceste modele.

3.9.1 Modelul stochastic cu medie alunecătoare (MA)

Cel mai simplu tip de filtru este filtrul cu răspuns finit la impuls (FIR), descris în Figura 3.5.
Acesta este asociat modelului MA, fiind definit prin ecuaţia cu diferenţe finite:
L 1
u  n  g0*v  n  g1*v  n  1   g L* 1v  n  L  1   gi*v n  i  (3.157)
i 0

unde coeficienţii g0* , g1* , , g L* 1 definesc răspunsul la impuls al filtrului, fiind denumiţi în
acest caz parametri MA iar v  n este un proces de zgomot alb de medie zero şi varianţă
 v2 . La ieşirea filtrului se obţine procesul MA u  n . Este vorba după cum s-a arătat în
Capitolul 2 de un filtru având numai zerouri şi a cărui funcţie de transfer este un polinom în
z 1 :

Figura 3.5 Generarea unui proces aleator cu medie

alunecătoare (MA) cu un filtru FIR.
72 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

L 1
G  z    gi* z i (3.158)
i 0

În sfârşit, ordinul funcţiei de transfer din (3.158) stabileşte ordinul procesului MA. Deci, în
cazul de faţă, u  n este un proces stochastic de ordinul L  1 .
Pentru a determina funcţia de autocorelaţie a ieşirii u  n , se aplică relaţia (3.55) şi se au
în vedere caracteristicile zgomotului alb, aşa cum sunt definite prin (3.156). Rezultă:
 2 L 1 k
 v  gl gl  k , k L
 *

r  k    u l  u   k  l    l 0 (3.159)
l 0 0, k L

Calculăm media şi varianţa procesului de ieşire:
 
  L 1
  E  glv  n  l    gl E v  n  l   0,  2  r 0   v2  g k
2
(3.160)
 l 0  k 0 k 0

Având în vedere faptul că răspunsul la impuls al filtrului este de lungime finită şi funcţia
de autocorelaţie a procesului de ieşire este nulă pentru întârzieri mai mari decât L  1 .

3.9.2 Modelul stochastic autoregresiv (AR)

Seria temporală u  n , u  n  1 , , u n  M  reprezintă o realizarea unui proces autoregre-
siv de ordinul M dacă ea satisface următoarea ecuaţie cu diferenţe finite:
M
u  n   ai*u  n  i   v  n  (3.161)
i 1

unde a1 , a2 , , aM sunt constante denumite parametri AR iar v  n este un proces de

zgomot alb.
Motivul pentru care se utilizează numele „autoregresiv” pentru acest proces este pus în
evidenţă prin rescrierea ecuaţiei (3.161):
u  n  a1*u  n  1  a2*u n  2   aM* u n  M   v n (3.162)
Se observă că valoarea prezentă a procesului, u  n este dată de o combinaţie lineară finită
a valorilor trecute ale procesului u  n  1 , , u  n  M  la care se adaugă un termen de
eroare v  n . Prin urmare, în ecuaţia (3.162), variabila u  n se obţine prin regresie asupra
valorilor proprii precedente, şi de aici numele de „autoregresiv”.
Membrul stâng al ecuaţiei (3.161) poate fi considerat drept rezultat al convoluţiei
secvenţei de intrare u  n , u  n  1 , , u n  M  şi a secvenţei de parametri a0* , a1* , , aM*
unde a0  1 . Aplicăm în continuare transformata Z în (3.161) pe care îl rescriem astfel:
H a  z U  z   V  z  (3.163)
 3.9 Modelarea lineară a semnalelor stochastice 73

Figura 3.6 Generarea unui proces stochastic

autoregresiv (AR) cu un filtru IIR.

unde U  z  şi V  z  sunt transformatele secvenţelor de intrare respectiv de ieşire iar

M 1
H a  z    ai* z i (3.164)
i 0

Sunt posibile două interpretări pentru ecuaţia (3.163) în funcţie de modul în care este
privit procesul AR: intrare sau ieşire a sistemului H a  z  . Acestea sunt:

1. Procesul AR se aplică la intrarea filtrului FIR H a  z  , ceea ce face ca la ieşirea acestuia

să se producă zgomotul alb v  n . În acest tip de aplicaţii, filtrul este analizor de proces
AR cu funcţia de transfer H a  z   V  z  U  z  , coeficienţii lui find identici cu cei ai
procesului AR de intrare u  n .
2. Dacă zgomotul alb v  n este considerat intrare în sistem iar procesul AR u  n ieşire,
atunci filtrul are structura din Figura 3.6. Acest filtru este un generator de proces AR,
având funcţia de transfer
U  z 1 1
Hg  z    (3.165)
V  z Ha  z  M

 ai* z i
i 0

Filtrul generator este de tipul cu răspuns infinit la impuls (IIR).

Analizorul de proces AR este un filtru ce are numai zerouri. Prin urmare, filtrul este
inerent stabil. Având în vedere că ieşirea acestui filtru este zgomotul alb v  n , el este
denumit şi filtru de „albire”, pentru că transformă un proces aleator staţionar în zgomot alb.
Generatorul de proces AR din Figura 3.6 este un filtru ce are numai poli, adică funcţia
sa de transfer este complet definită prin specificarea poziţiei polilor săi, p1 , p2 , pM , care
sunt soluţiile ecuaţiei caracteristice:
1  a1* z 1  a2* z 2   aM* 1 z  M  0 (3.166)
Polii permit scrierea funcţiei de transfer a generatorului AR sub forma
74 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

1
Hg  z  (3.167)
1  p1 z 1  p2 z 1 
1
1  p Mz 
1

Condiţia necesară şi suficientă pentru ca procesul AR generat să fie staţionar în sens larg
este ca filtrul din Figura 3.6 să fie stabil, ceea ce, după cum s-a arătat în Capitolul 2, impune
ca polii acestuia să fie toţi plasaţi în interiorul cercului de rază unitate al planului Z
pk  1, k (3.168)
Pentru a defini în mod unic modelul generator AR de ordin M din Figura 3.6, valorile
funcţiei de autocorelaţie a acestuia, r 0 , r 1 , , r  M  1 se consideră date iniţiale ale
problemei. Vom stabili în continuare ecuaţiile Yule-Walker care determină pe baza datelor
iniţiale, parametrii AR a1 , a2 , , aM şi varianţa  v2 a zgomotului alb v  n . În acest scop se
multiplică ambii membri ai relaţiei (3.161) cu u*  n  l  iar apoi se aplică operatorul de
mediere statistică:
M 
E  ak*u  n  k  u*  n  l   E v  n u *  n  l  (3.169)
 k 0 
Membrul drept al ecuaţiei se simplifică în urma observaţiei că E v  nu*  n  l   0 pentru
l  0 , astfel că ecuaţia (3.169) devine
M

 a r l  k   0,
k 0
*
k l 0 (3.170)

şi, întrucât a0  1 , după aplicarea operaţiei de conjugare se obţine:

M

 a r  k  l    r l  ,
k 1
k l
*
l 1 (3.171)

Sub formă matricială:

 r  0 r 1 r  M  1   a1   r * 1 
 *   * 
 r 1 r  0 r  M  2  a2  r  2 
  (3.172)
    
 *    * 
 r  M  1 r  M  2 r  0   aM   r  M 
*

Acestea sunt ecuaţiile Yule-Walker, care se pot scrie şi într-o formă mai compactă
Ra  r (3.173)
unde a   a1 a2 aM  şi r   r * 1 r *  2 r *  M  .
T T

În sfârşit, pentru l  0 , membrul drept al ecuaţiei (3.169) ia forma specială

E v  nu*  n  E v n v* n   v2 , unde  v2 este varianţa zgomotului alb v  n . Se
obţine astfel, formula de calcul a varianţei procesului de zgomot alb:
 3.9 Modelarea lineară a semnalelor stochastice 75

M
 v2   ak r  k  (3.174)
k 0

unde a0  1 . Prin urmare, fiind cunoscute valorile funcţiei de autocorelaţie r 0 , r 1 ,
,r  M  , se poate determina varianţa zgomotului alb  v2 .

3.9.3 Modelul stochastic ARMA

Un semnal ARMA (AutoRegresiv cu Medie Alunecătoare) este obţinut la ieşirea unui filtru
având funcţia de transfer:
L

G z g z * i
i
H  z  G z Hg z   i 0
(3.175)
Ha  z  M

a z
i 0
* i
i

unde a  1 . Ecuaţia cu diferenţe finite a modelului ARMA ce corespunde funcţiei (3.175)

*
0
este
L M
u  n   gi*v  n  i    ai*u  n  i  (3.176)
i 0 i 1

unde v  n este zgomotul alb gaussian aplicat la intrarea modelului iar u  n procesul
ARMA modelat.
O relaţie directă între funcţia de autocorelaţie şi coeficienţii modelului ARMA se obţine
înmulţind cei doi termeni ai ecuaţiei precedente cu u*  n  k  şi aplicând apoi operatorul de
medie statistică, avem:
L M
r  k    gi* E v  n  i  u*  n  k    ai*r  k  i  (3.177)
i 0 i 1

Se poate verifica că relaţiile dintre funcţiile de autocorelaţie şi coeficienţi devin nelineare din
cauza primului termen din ecuaţia (3.177).
Din punctul de vedere a calculelor, modelul AR are un atu important în faţa modelelor
MA şi ARMA. În particular, calculul coeficienţilor modelului AR din Figura 3.6 este dat de
sistemul de ecuaţii lineare Yule-Walker (3.172) şi (3.174). Pe de altă parte, calculul coefi-
cienţilor MA pentru modelul din Figura 3.5 precum şi al coeficienţilor ARMA sunt mult
mai complicate, vezi în acest sens relaţiile (3.159) ce pot fi utilizate la determinarea
coeficienţilor MA. Din aceste motive, în practică, modelele AR sunt mult mai utilizate decât
modelele MA şi ARMA.
Exemplul 3.5: Consideraţi procesul MA de ordinul 2 u  n care satisface ecuaţia
cu diferenţe finite
u  n  v  n  0,75v  n  1  0,25v  n  2
76 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

unde v  n este un proces aleator de zgomot alb cu medie zero şi varianţă unitară,
 v2  1 . Să se determine:
a. Funcţia de autocorelaţie ru  k  a procesului aleator u  n ,
b. Să se aproximeze procesul MA cu procesul AR de ordinul M  3 x  n ,
calculându-se coeficienţii procesului AR.
Soluţie: Funcţia de autocorelaţie ru  k  a procesului u  n se poate calcula
direct din ecuaţia de definiţie, dacă aceasta se multiplică cu u*  n  k  iar apoi se
aplică media statistică relaţiei ce rezultă. Relaţia (3.159) sintetizează aceste
rezultate:
ru 0  12   0,75   0, 25   1,625; ru 1  0,75 1  0, 25  0,75  0,9375;
2 2

ru  2  0, 25 1  0, 25; ru  k   0,  k  2
Procesul AR de ordinul M  3 x  n aproximează procesul MA dacă rx  k  
ru  k  pentru k  3 . Considerăm că egalitatea are loc, ceea ce permite să
determinăm coeficienţii procesului AR prin rezolvarea ecuaţiilor Yule-Walker
(3.172):
 rx  0 rx 1 rx  2  a1   rx 1 
    
 rx 1 rx  0 rx 1   a2     rx  2
 rx  2 rx 1 rx  0  a3   rx 3 
   
Soluţiile sunt: a1  0,75; a2  0,3182; a3  0,0682 . În concluzie, procesul gene-
rator AR x  n de ordinul M  3 este descris de ecuaţia cu diferenţe finite:
x  n  0,75x n  1  0,3182 x n  2  0,0682 x n  3  v n .

Probleme
P 3.1 Fie procesul aleator w n generat de aruncarea unei monezi „corecte” pentru
fiecare moment de timp n,   n   , definit prin:

 S "Cap" Pr  C   0,5
w n  
 S "Pajură" Pr  P   0,5

unde S este o constantă.
(a) Caracterizaţi procesul din punctul de vedere a independenţei şi staţionarităţii,
calculând în primă instanţă media şi varianţa lui.
Vom defini, în continuare, un nou proces aleator, x  n , n  1 , prin
 PROCESE ALEATOARE ÎN TIMP DISCRET Probleme 77

x 1  w1
x  2  x 1  w  2  w 1  w  2

n
x  n   x  n  1  w  n    w i 
i 1

Acest proces aleator poartă în literatură numele de „proces discret Wiener” sau în
engleză „random walk”.
(b) Calculaţi media şi varianţa lui x  n şi stabiliţi dacă este proces staţionar sau
nu.
P 3.2 Pentru fiecare proces aleator din lista care urmează, stabiliţi dacă acesta este: (1)
staţionar în sens larg sau (2) ergodic în sens larg.
(a) x  n  A , unde A este o variabilă aleatoare distribuită uniform între 0 şi 1.
(b) x  n  A cos 0 n, unde A este o variabilă gaussiană cu media 0 şi varianţa 1.
(c) x  n este un proces Bernoulli cu Pr  x  n  1  p şi Pr  x  n  1  1  p .
P 3.3 O secvenţă aleatoare staţionară x  n de medie  x  4 şi autocovarianţă
4  n n 3
cx  n   
0 în rest
se aplică la intrarea unui sistem SLIT cu răspunsul la impuls h  n dat de
h  n    n    n  4
unde   n este impulsul treaptă unitate. Semnalul de ieşire al sistemului este o
altă secvenţă aleatoare y  n . Determinaţi pentru acest proces:
(a) media  y  n ,
(b) funcţia de intercovarianţă cxy  n1 , n2  ,

(c) funcţia de autocovarianţă rx  n1 , n2  .

P 3.4 Sistemului SLIT cauzal descris prin ecuaţia cu diferenţe finite
1 1
y  n  y  n  1  x  n  x  n  1
2 3
i se aplică la intrare un proces aleator staţionar în sens larg de medie nulă şi
funcţie de autocorelaţie rx l   0,5 l .
(a) Determinaţi densitatea spectrală de putere şi funcţia de autocorelaţie a secvenţei
de ieşire y  n .
78 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

(b) Determinaţi funcţia de intercorelaţie rxy l  şi interspectrul de putere S xy   

dintre semnalele de intrare şi ieşire.
P 3.5 Fie procesul aleator u  n .

(a) Utilizând nenegativitatea expresiei E  u  n  l   u  n   , arătaţi că ru 0  ru l  ,

2

 
oricare ar fi l.
(b) Determinaţi care dintre matricile pătrate de mai jos reprezintă matrici de corelaţie:
1 0,5 0, 25
1 1 
1 R1     2 R 2  0,5 1 0,5 
1 1 0, 25 0,5 1 
1 0,5 1 
 1 1 j 
 3 R3    4 R 4  0,5 2 0,5
1  j 1 
1 1 1 
P 3.6 Fie matricea de corelaţie R .
(a) Utilizând transformarea unitară de similaritate (vezi paragraful 3.6.2), arătaţi că
pentru orice n număr întreg, R n  QΛnQH .
(b) Matricea R1 2 , cu proprietatea R1 2 R1 2  R , este definită drept rădăcină pătrată
a lui R . Arătaţi că R1 2  QΛ1 2QH .
(c) Arătaţi că identitatea R  QΛ QH este valabilă pentru orice număr raţional α.
P 3.7 Se consideră matricea de corelaţie R a vectorului de observaţii u  n . Se defineşte
vectorul
u  n  R 1 2u  n
unde R 1 2 este inversa matricii R1 2 definită în problema P 3.6. Arătaţi că
matricea de corelaţie a lui u  n este matricea identitate.
P 3.8 Consideraţi procesul u  n  au  n  1  w n , unde w n este un proces aleator
gaussian de medie nulă şi varianţă  w2 .
(a) Arătaţi că matricea de corelaţie a procesului de dimensiune M  M este Toeplitz
simetrică, fiind dată de
1 a a m 1 
2  
 a 1 a m2 
R w2 
1 a  
 m 1 
 a a m2 1 
(b) Verificaţi că
 PROCESE ALEATOARE ÎN TIMP DISCRET Probleme 79

1 a 0 0 
 a 1  a2 a 0 
1 
R 1  2 0 a 
w  
 1  a2 a 
0 0 a 1 
(c) Arătaţi că dacă
1 0 0
 a 1 0 
L
 0
 
0 0 a 1
atunci LT RL  1  a 2  I .
P 3.9 Calculaţi şi comparaţi autocorelaţiile următoarelor procese:
(a) ua  n  v  n  0,3v  n  1  0,4v n  2 şi
(b) ub  n  v  n  1,2v  n  1  1,6v n  2
unde v  n este un proces normal de zgomot alb de medie nulă şi varianţă unitară.
Explicaţi rezultatele obţinute.
P 3.10 Consideraţi modelul MA(2) de proces aleator
u  n  v  n  0,1u  n  1  0,2u n  2
unde v  n este un proces normal de zgomot alb de medie nulă şi varianţă unitară.
(a) Este procesul u  n staţionar? De ce?
(b) Este modelul considerat un model de fază minimă? De ce?
(c) Determinaţi funcţia de autocorelaţie a procesului.
P 3.11 Un proces real de ordinul întâi autoregresiv (AR) u  n satisface ecuaţia cu
diferenţe finite reală
u  n  a1u  n  1  v  n
unde a1 este o constantă iar v  n este un proces de zgomot alb de varianţă  v2 .
(a) Arătaţi că dacă media lui v  n este nenulă, atunci procesul AR u  n este
nestaţionar.
(b) În cazul în care v  n are media nulă iar constanta a1 satisface condiţia a1  1 ,
arătaţi că varianţa lui u  n este
80 PROCESE ALEATOARE ÎN TIMP DISCRET - 3

 v2
var  u  n 
1  a12
(c) Pentru condiţiile specificate la punctul (b), stabiliţi funcţia de autocorelaţie a
procesului AR u  n . Reprezentaţi grafic funcţia de autocorelaţie pentru cazurile
0  a1  1 şi 1  a1  0
P 3.12 Utilizaţi ecuaţiile Yule-Walker pentru a determina funcţiile de autocorelaţie ale
modelelor AR de mai jos, presupunând că v  n este un proces normal de zgomot
alb de medie nulă şi varianţă unitară:
(a) u  n  0,5u  n  1  v  n ,
(b) u  n  1,5u  n  1  0,6u  n  2  v  n
Care este varianţa  u2 a procesului rezultat?
P 3.13 Dorim să generăm în MATLAB eşantioane dintr-un proces gaussian cu funcţia de
autocorelaţie ru l    12     12  , l .
l l

(a) Găsiţi ecuaţia cu diferenţe finite care generează procesul u  n , atunci când
excitaţia este un proces normal de zgomot alb de medie nulă şi varianţă unitară.
(b) Generaţi N  1000 eşantioane ale procesuluişi estimaţi densitatea de probabilitate
utilizând histograma şi funcţia de autocorelaţie normată.
(c) Verificaţi valabilitatea modelului, reprezentând pe acelaşi grafic (i) densitatea de
probabilitate reală şi estimată a lui u  n şi (ii) funcţiile de autocorelaţie reale şi
estimate.
P 3.14 Determinaţi filtrul adaptat pentru impulsul determinist s  n  cos 0 n pentru
0  n  M  1 şi zero în rest, atunci când zgomotul este (a) alb cu varianţa  v2 şi
(b) colorat cu funcţia de autocorelaţie rv l    v2  l 1    ,  1    1 .
2

Reprezentaţi răspunsul în frecvenţă al filtrului şi suprapuneţi-l peste densitatea de

putere a zgomotului pentru 0   6, M  12,  v2  1 şi  =0,9 .Explicaţi forma
pe care o ia răspunsul filtrului. (c) Studiaţi efectul valorii parametrului  v2 asupra
RSZ de la punctul (a).
 4
Capitolul

4 Filtre lineare optimale

A
cest capitol este dedicat studierii clasei de filtre lineare optimale cunoscute sub
numele de filtre Wiener. După cum vom vedea în capitolele următoare, conceptul
de filtru Wiener se constituie într-un instrument esenţial în înţelegerea şi aprecierea
filtrelor adaptive. Mai mult, filtrarea Wiener este generală şi aplicabilă în toate categoriile de
aplicaţii care presupun estimarea unui semnal (denumit semnal dorit) printr-un alt semnal
asociat.
Semnalele care intervin în teoria filtrelor Wiener sunt presupuse a fi procese aleatoare
iar filtrul este realizat utilizând statistici obţimute prin mediere pe ansamblu. Această
abordare este urmată pe tot parcursul dezvoltării şi analizei teoretice a filtrelor Wiener.
Totuşi, din punctul de vedere a implementării algoritmilor de filtrare adaptivă, vom avea în
vedere în capitolele următoare şi utilizarea mediilor temporale în locul celor statistice.
Teoria filtrelor optimale a fost dezvoltată în timp continuu de Wiener (1942) şi
Kolmogorov (1939) iar în timp discret, Levinson (1947) a reformulat teoria filtrelor FIR şi a
proceselor staţionare, dezvoltând un algoritm elegant de rezolvare eficientă a ecuaţiilor
normale care exploatează structura Toeplitz a matricii de corelaţie R (Farhang-Boroujeny
1998, Manolakis, ş.a. 2005). Acesta este motivul pentru care filtrele optimale sunt denumite
filtre Wiener.

4.1 Filtrarea optimală lineară: punerea

problemei
Se consideră schema bloc din Figura 4.1. Intrarea filtrului constă din seria temporală cu
valori complexe u 0 , u 1, u  2, , iar filtrul este caracterizat prin răspunsul la impuls
w0 , w1 , w2 , . La momentul de timp discret n , filtrul produce semnalul de ieşire y  n .
Acesta reprezintă o estimare a răspunsului dorit notat prin d  n . Diferenţa dintre d  n şi
y  n reprezintă eroarea de estimare e  n  , un semnal ce are caracteristicile sale statistice
proprii. Eroarea de estimare trebuie minimizată cât mai mult posibil, pe baza unui anumit
82 FILTRE LINEARE OPTIMALE - 4

Figura 4.1 Schema bloc a problemei de filtrare adaptivă

criteriu statistic pe care urmează să-l stabilim în continuare. Utilizarea de semnale cu valori
complexe se datorează faptului că în multe aplicaţii practice (comunicaţii, radar, sonar, etc),
reprezentarea semnalelor în banda de bază se face în format complex. Evident că semnalele
reale reprezintă un caz particular pentru abordarea noastră.
Vom impune, din start, două restricţii asupra filtrului (Haykin 1996):
1. Filtrul este linear, ceea ce facilitează tratarea matematică a problemei;
2. Filtrul funcţionează în timp discret, ceea ce permite implementarea prin structuri
digitale hard/soft.
Este acum momentul să decidem în privinţa a două caracteristici importante care
influenţează profund performanţele filtrului adaptiv:
1. Ce fel de răspuns la impuls are filtrul utilizat: finit (FIR) sau infinit (IIR)?
2. Ce tip de criteriu statistic este utilizat pentru optimizarea parametrilor filtrului.
În ceea ce priveşte prima dilemă, dezvoltarea iniţială a teoriei filtrării optimale presupu-
ne că filtrul din Figura 4.1 are un număr infinit de coeficienţi wi , ceea ce înseamnă că trata-
rea include atât cazul FIR cât şi cel mai general, IIR. Totuşi, cea mai mare parte din lucrare
este dedicată exclusiv filtrelor FIR, pentru că acestea sunt inerent stabile iar structura lor nu
cuprinde decât căi directe de semnal între intrare şi ieşire. Filtrele IIR au în structură cel
puţin o cale de reacţie inversă de la ieşire spre intrare, ceea ce poate conduce, în anumite
condiţii, la pierderea stabilităţii circuitului. Deşi stabilitatea este un parametru ce poate fi
bine controlat, combinarea acestei probleme cu cea a adaptivităţii coeficienţilor filtrului, face
din filtrul IIR o opţiune nu foarte atractivă pentru implementarea filtrării adaptive. Acestea
sunt motivele care fac ca filtrele FIR să fie preferate celor IIR în probleme de filtrare
adaptivă, chiar dacă implementarea filtrelor IIR necesită mai puţină putere de calcul decât
filtrele FIR.
În ceea ce priveşte problema alegerii criteriului de optimizare, trebuie spus că multe
aplicaţii practice (ca de exemplu codarea vorbirii, a imaginilor, etc.) necesită criterii
subiective care sunt dificil de exprimat matematic. Drept urmare, ne vom îndrepta atenţia
către criterii de performanţă care:
1. depind numai de eroarea de estimare e  n  ;
2. asigură o evaluare suficientă a satisfacţiei utilizatorului, şi
3. conduc la o problemă tratabilă matematic.
Pentru că în cele mai multe aplicaţii eroarea este la fel de dăunătoare indiferent de
semnul pe care îl are, criteriul acordă ponderi egale atât erorilor pozitive cât şi celor
negative. Această cerinţă este satisfăcută de funcţii ca cele reprezentate în Figura 4.2: (i)
 4.1 Filtrarea optimală lineară: punerea problemei 83

Figura 4.2 Ilustrare grafică pentru acţiunea diverselor expresii ale

criteriului de optimizare

valoarea absolută a erorii e  n  , (ii) eroarea pătratică e  n 

2
sau (iii) o altă putere a lui
e  n  . În raport cu primul criteriu, criteriul pătratului erorii subliniază mai pronunţat efectul
erorilor mari. El oferă, de asemenea, avantajul de a putea fi exprimat prin expresii
matematice convenabile, astfel că reprezintă cea mai convenabilă alegere.
Denumit funcţie de cost, criteriul de performanţă ce utilizează pătratul erorii e  n 
2

trebuie să aibă în vedere şi caracterul stochastic al semnalelor din Figura 4.1, implicit al
erorii e  n  . Printre potenţialele funcţii de cost, alegerea se face între:
1. eroarea pătratică medie (EPM):

E e  n  e  n  E  e  n  
2
J (4.1)
 
2. suma pătratelor erorii:
n2
E  n1 , n2   e  n
2
(4.2)
n  n1

În cazul filtrării optimale Wiener, se alege prima funcţie, cea de a doua funcţie fiind
utilizată în cazul metodei celor mai mici pătrate (LS) ce va fi tratată în Capitolul 9 al cărţii.
Utilizarea erorii medii pătratice ca funcţie de cost oferă un cadru matematic convenabil,
conduce la soluţii aplicabile în practică şi, serveşte drept etalon pentru estimarea algoritmilor
de filtrare adaptivă. Vom mai preciza aici că metoda mediei pătratice a fost dezvoltată iniţial
de Gauss în secolul XIX şi a constituit de a lungul timpului obiectul studiului mai multor
generaţii de matematicieni.
În concluzie, problema filtrării adaptive Wiener se defineşte astfel (Haykin 1996):
84 FILTRE LINEARE OPTIMALE - 4

„Să se proiecteze un filtru linear în timp discret a cărui ieşire să furnizeze o

estimare a răspunsului dorit y  n pe baza eşantioanelor semnalului de intrare
u 0 , u 1 , u  2 , , astfel încât valoarea medie pătratică a erorii de estimare
e  n  , definită ca diferenţa dintre răspunsul dorit d  n şi răspunsul real y  n , să
fie minimizată.”

4.2 Principiul ortogonalităţii

4.2.1 Formularea principiului
Să examinăm modelul filtrării statistice din Figura 4.1. Atât semnalul de intrare u 0 , u 1 ,
u  2 , , cât şi răspunsul la impuls al filtrului w0 , w1 , w2 , , se presupun a fi serii tempora-
le cu valori complexe şi de durată infinită. Ieşirea filtrului la momentul de timp discret n ,
y  n , este definită prin suma de convoluţie lineară:

y[n]   wku[n  k ], n  0,1,2, (4.3)
k 0

unde asteriscul reprezintă operaţia de conjugare complexă.

Scopul filtrului este de a furniza o estimare a răspunsului dorit d  n . Presupunem că
atât semnalul de intrare cât şi răspunsul dorit sunt realizări singulare ale unor procese
aleatoare staţionare mutual în sens larg, ambele de medie nulă. Drept urmare, estimarea lui
d  n este acompaniată de o eroare definită prin:
e  n  d  n  y  n (4.4)
Valoarea e  n  este, de asemenea, o realizare a unei variabile aleatoare. Pentru a optimi-
za filtrul se minimizează valoarea pătratică medie a erorii de estimare (EPM) e  n  ce face
obiectul definiţiei (4.1) a funcţiei de cost J . Prin urmare, problema revine la determinarea
valorilor coeficienţilor filtrului woi care fac ca J să-şi atinge minimul:

wi wi

min  J   min e  n
2
 (4.5)

Pentru vectori de date de intrare complecşi, coeficienţii filtrului sunt, în general,

complecşi. Cel de-al k -lea coeficient al filtrului wk se descompune într-o parte reală şi una
imaginară:
wk  ak  jbk , k  0,1,2, (4.6)
Corespunzător, se poate defini un operator de gradient  al cărui al k -lea element este
descris prin intermediul derivatelor parţiale de ordinul întâi în raport cu ak şi bk :
 4.2 Principiul ortogonalităţii 85

 
k  j , k  0,1, 2, (4.7)
ak bk
Prin urmare, în cazul aplicării operatorului  funcţiei de cost J , se obţine vectorul
multidimensional complex J cu elementul k dat de
J J
k J  j , k  0,1, 2, (4.8)
ak bk
Operatorul gradient se utilizează în problemele de determinare a punctelor staţionare
ale unei funcţii de mai multe variabile (Ştefănescu şi Zidăroiu 1981). În consecinţă, funcţia
de cost J îşi atinge valoarea minimă când toate componentele vectorului gradient sunt
simultan nule, adică:
k J  0, k  0,1,2, (4.9)
Cu aceste condiţii îndeplinite, filtrul este optim din punctul de vedere a erorii pătratice
medii.
În conformitate cu ecuaţia (4.1), funcţia J este un scalar independent de momentul de
timp n . Prin urmare, aplicând (4.8) asupra lui (4.1) se obţine:
 e  n * e*  n e  n * e*  n  
k J  E  e  n   e[n]  j e n  j e  n  (4.10)
 ak ak bk bk 
Din (4.4) şi (4.6) se obţin valorile derivatelor parţiale care apar în ecuaţia (4.10):
e  n  e  n 
 u  n  k ;  ju  n  k ;
ak bk
(4.11)
e*  n  e*  n 
  ju  n  k ;  u  n  k ;
*

bk ak
Valorile obţinute se înlocuiesc în (4.10) şi, după anularea termenilor comuni, se obţine în
final:
k J  2E u  n  k   e*  n (4.12)
Se pot specifica acum condiţiile necesare pentru minimizarea funcţiei de cost. Fie eo
valoarea pe care o atinge eroarea de estimare atunci când filtrul a atins optimul. Condiţiile
specificate în (4.9) sunt, după cum se observă, echivalente cu:
E u  n  k  eo*  n  0, k  0,1, (4.13)
Cu alte cuvinte, ecuaţia (4.13) afirmă:
„Condiţia necesară şi suficientă pentru ca funcţia de cost J să atingă valoarea
minimă este ca valoarea corespunzătoare a erorii eo  n să fie ortogonală pe
fiecare eşantion al semnalului de intrare ce intră în estimarea răspunsului dorit la
momentul de timp n ”.
86 FILTRE LINEARE OPTIMALE - 4

Această propoziţie constituie principiul ortogonalităţii. Ea reprezintă una dintre cele mai
elegante teoreme din domeniul filtrării lineare optimale, constituind de asemenea baza
matematică a unor proceduri ce testează dacă filtrul linear funcţionează în condiţii optimale.

4.2.2 Corolarul principiului ortogonalităţii

Corolarul este obţinut în urma examinării corelaţiei dintre ieşirea filtrului y  n şi eroarea de
estimare e  n  . Această corelaţie se exprimă astfel:
  
E  y  n e*  n  E  wk*u  n  k  e*  n    wk* E u n  k  e* n  (4.14)
 k 0  k 0
Vom nota prin yo  n ieşirea filtrului optimizat în sensul EPM minime şi prin eo  n
eroarea de estimare corespunzătoare. Aplicarea principiului ortogonalităţii (4.13) în suma
din (4.14) conduce la rezultatul dorit:
E  yo  n eo*  n  0 (4.15)
Corolarul principiului ortogonalităţii se enunţă astfel:
„Atunci când filtrul funcţionează în condiţii optimale, estimarea răspunsului dorit
de către ieşirea filtrului, yo  n , şi eroarea de estimare corespunzătoare eo  n
sunt ortogonale una în raport cu cealaltă."

4.2.3 Interpretarea geometrică a principiului

ortogonalităţii
Este convenabil şi pedagogic să privim variabilele aleatoare de medie nulă şi varianţă finită
ca vectori într-un spaţiu vectorial abstract înzestrat cu produs scalar (spaţiu Hilbert). În acest
spaţiu două variabile aleatoare x şi y sunt ortogonale, ceea ce se scrie x  y , dacă produ-
sul lor scalar este
x, y  E  x, y   0 (4.16)
ceea ce implică că ele sunt necorelate, întrucât sunt de medie nulă.
Punctul de vedere geometric oferă o interpretare intuitivă asupra principiului
ortogonalităţii. Pentru a ilustra utilizarea principiului ortogonalităţii, trebuie observat că
orice combinaţie lineară w0u  n  w1u  n  1  se plasează în subspaţiul definit de
vectorii u  n , u  n  1, , subspaţiul Un . Prin urmare, estimarea răspunsului dorit

d  n Un   yo  n care minimizează pătratul vectorului de eroare, adică realizează o eroare
EPM minimă, este determinată de piciorul perpendicularei din vârful vectorului d la
„planul” determinat de vectorii u  n , u  n  1, . Aceasta este ilustrată în Figura 4.3 pentru
un spaţiu al semnalului în două dimensiuni. Întrucât eo este perpendicular pe fiecare vector
 4.3 Ecuaţiile Wiener-Hopf 87

Figura 4.3 Ilustrarea grafică a principiului

ortogonalităţii.

din plan, avem eo  u  n  k  , k , ceea este este de fapt enunţul principiului ortogonalităţii
(4.13). Se remarcă de asemenea că perpendiculara eo reprezintă segmentul de lungime
minimă care poate fi dus din vârful vectorului d la „planul” Un .
Pe parcursul prezentării noastre, vom remarca de mai multe ori utilitatea interpretării
geometrice a principiului ortogonalităţii în cazul filtrării optimale. De exemplu, aplicarea
Teoremei lui Pitagora în triunghiul dreptunghic format din vectorii dˆ , eo şi d din Figura 4.3
conduce la relaţia
2
 dˆ  eo
2 2
d

E  d   E  dˆ   E  eo 
2 2 2
sau (4.17)
     
care descompune puterea semnalului dorit în două componente, una care este corelată cu
datele de intrare şi alta care este necorelată cu acestea.

4.3 Ecuaţiile Wiener-Hopf

4.3.1 Calculul coeficienţilor filtrului Wiener în cazul
general
Principiul ortogonalităţii descris prin ecuaţia (4.13) specifică condiţia necesară şi suficientă
pentru funcţionarea optimă a filtrului. Această condiţie poate fi reformulată înlocuind
ecuaţiile (4.4) şi (4.3) în (4.13):
  

E u  n  k   d *  n    woi u *  n  i     0, k  0,1,2, (4.18)
  i 0 
88 FILTRE LINEARE OPTIMALE - 4

unde woi este coeficientul al i -lea al răspunsului la impuls al filtrului optimal. Dezvoltarea
ecuaţiei, urmată de rearanjarea termenilor duce la:


w oi E u  n  k  u*  n  i   E u  n  k  d *  n  , k  0,1,2, (4.19)

i 0

Cele două operaţii de mediere din (4.19) au următoarele interpretări:

1. Media E u  n  k u*  n  i  este egală cu funcţia de autocorelaţie a secvenţei de
la intrare pentru întârzierea i  k :
r i  k   E u  n  k u* n  i  (4.20)

2. Media E u  n  k  d *  n este egală cu corelaţia mutuală a intrării filtrului

u  n  k  cu răspunsul dorit pentru întârzierea k . Notaţia utilizată este următoarea:
p  k   E u  n  k  d  u  (4.21)
Introducerea definiţiilor (4.20) şi (4.21) în (4.19) conduce la un sistem de ecuaţii de
dimensiuni infinite. Acestea constituie condiţia necesară şi suficientă pentru optimalitatea
filtrului:


 w r i  k   p  k  ;
i 0
oi k  0,1,2,.... (4.22)

Sistemul de ecuaţii (4.22) defineşte coeficienţii filtrului optimal, în funcţie de două funcţii de
corelaţie: autocorelaţia secvenţei de la intrare şi intercorelaţia intrării cu semnalul dorit.
Ecuaţiile sunt denumite ecuaţiile Wiener-Hopf sau ecuaţiile normale.

4.3.2 Soluţia matricială a ecuaţiilor Wiener-Hopf

pentru filtre FIR de lungime finită
Rezolvarea ecuaţiilor Wiener-Hopf este simplificată mult în cazul special al filtrelor lineare
transversale (filtre FIR) (vezi Figura 4.4). Acestea sunt definite printr-un set finit de blocuri
de întârziere z 1 şi multiplicare w0 , w1 , , wM 1 . Ecuaţiile Wiener-Hopf se reduc la un
sistem de M ecuaţii simultane:

Figura 4.4 Filtru FIR transversal

 4.3 Ecuaţiile Wiener-Hopf 89

M 1

 w r i  k   p  k  ;
i 0
oi k  0,1,2,..., M -1 (4.23)

Vom desemna prin R matricea de corelaţie de dimensiune M  M a secvenţei de

intrare u  n , u  n  1, , u  n  M  1 în filtrul FIR din Figura 4.4:
R  E u  n uH  n (4.24)

unde u  n este vectorul de dimensiune M 1 :

u  n  u  n u  n  1 u  n  M  1
T
(4.25)
Dezvoltarea lui R este:
 r  0 r 1 r  M  1 
  
r 1 r  0 r  M  2 
R (4.26)
 
  
 r  M  1 r   M  2 r  0 
Similar, vectorul de intercorelaţie dintre semnalul de intrare u  n şi răspunsul dorit
d  n se notează cu p :

p   p 0 p  1 p 1  M   E u  n d [n]

T
(4.27)
Se observă că întârzierile utilizate în definirea lui p sunt sau nule sau negative. Ecuaţiile
Wiener-Hopf (4.23) pot fi rescrise matricial astfel:
Rw o  p (4.28)
unde w 0 este vectorul optimal al coeficienţilor filtrului transversal:

wo   wo 0 woM 1 
T
wo1 (4.29)
Ecuaţiile Wiener-Hopf pot fi rezolvate dacă matricea de corelaţie R este nesingulară.
Înmulţind ambii termeni ai ecuaţiei (4.28) cu R 1 , inversa matricii R , se obţine:
wo  R 1  p (4.30)
Prin urmare, calculul vectorului coeficienţilor optimali w o necesită cunoaşterea a două
mărimi:
1. matricea de corelaţie R a secvenţei de intrare,
2. vectorul de corelaţie mutuală p a secvenţei u  n cu răspunsul dorit d  n .
Exemplul 4.1: Semnalul de intrare u  n al unui filtru FIR (vezi Figura 4.5) este
alcătuit dintr-o componentă utilă s  n  perturbată de zgomotul alb v  n de
varianţă  v2 ce este necorelat cu s  n  :
90 FILTRE LINEARE OPTIMALE - 4

Figura 4.5 Configuraţia de filtrare pentru exemplul din

paragraful 4.3.

u  n  s  n  v  n
Semnalul s  n  este şi el un proces aleator cu funcţia de autocorelaţie dată prin
relaţia
rs l    , 0    1
l

Să se stabilească coeficienţii filtrului optimal Wiener-Hopf de ordinul M  2 .

Se va evalua, de asemenea, modul în care se modifică raportul semnal/zgomot
(RSZ) în urma trecerii semnalului prin filtrul optimal.
Soluţie: Deoarece s  n  şi v  n sunt necorelate, funcţia de autocorelaţie a
semnalului de intrare r l  este dată de suma
r l   rs l   rv l      v2 l  , l
l

Prin urmare, matricea de corelaţie R a procesului stochastic de la intrare are,

pentru situaţia examinată, dimensiunea 2  2 şi expresia
1    v2 0  1   v2  
R  R s  Rv     2
 2
 1  0  v   1 v 
Vectorul de intercorelaţie p dintre semnalul de intrare u  n şi răspunsul
dorit d  n este

p   rs 0 rs  1  1  
T T

Ecuaţiile Wiener-Hopf sunt, prin urmare

1   v2    w0  1 
 2  
 1   v   w1   
iar soluţia este:
 w0  1 1   v2   2 
w    2 
 1  1   v    2
2 2
 v 

RSZ la intrare este dat de raportul varianţelor semnalelor s  n  şi v  n ,

adică: RSZin  rs 0  v2  1  v2 . La ieşire, RSZout se stabileşte în urma calculului
puterilor de semnal şi zgomot la ieşirea filtrului
 4.4 Suprafaţa de eroare 91

1     2   2 v2 1   v2   2    2 v4
2 2

Pout , s  w R s w o 
H v
,
1   2 
o 2
2
v

Pout ,v  w R v w o
H

1        
2
v
2 2 2 4
v
 v2
1     
o
2 2 2
v

Prin urmare:

1     2   2 v2 1   v2   2    2 v4
2 2
Pout , s
RSZout  
v

Pout ,v

 v2 1   v2   2    2 v4
2

În sfârşit, în scopul evidenţierii efectului pozitiv al filtrului optimal, vom calcu-
la raportul RSZout la RSZin

RSZout 2 v2 1   v2   2 
1
1   v2   2    2 v4
2
RSZin

Examinând ultima expresie, se constată că valoarea ei este cuprinsă între 1 şi

2, valoarea maximă fiind atinsă atunci când   1 . Prin urmare, în cazul filtrului
optimal cu M  2 , câştigul obţinut prin filtrare adaptivă este relativ modest (nu
mai mare de 3dB). În schimb, se poate demonstra că performanţele se îmbunătă-
ţesc, pe măsură ce numărul de coeficienţi ai filtrului creşte.

4.4 Suprafaţa de eroare

4.4.1 Calculul funcţiei de cost
Ecuaţiile Wiener-Hopf (4.28) au fost deduse pe baza principului ortogonalităţii introdus în
paragraful 4.2. Putem face remarca că aceste ecuaţii pot fi obţinute de asemenea prin
examinarea dependenţei funcţiei de cost de ponderile (coeficienţii) filtrului FIR, J  w  . În
acest scop, începem prin a exprima eroarea e  n  din relaţiile (4.4) şi (4.3):
M 1
e  n  d  n   wku  n  k   d  n   w H u  n  (4.31)
k 0

Funcţia de cost a structurii de filtru transversal din Figura 4.4 este media pătratului erorii
de estimare e  n  :

J  w   E e  n  e  n  E  e  n  
2

 
 E  d  n   w H u  n   d   n   u H  n  w  
Prin urmare:
92 FILTRE LINEARE OPTIMALE - 4

J  w   E  d  n    E d  n  u H  n  w  w H E u  n  d  n 

2

  (4.32)
 w E u  n u
H H
 n w
unde vectorul u  n definit prin (4.25) este secvenţa de date, d  n este semnalul dorit la
momentul de timp curent iar vectorul w descrie ponderile filtrului
w   w0 w1 wM 1  (4.33)
În membrul drept al expresiei (4.32) pot fi identificate patru medii statistice:
1. Varianţa răspunsului dorit d  n , pe care îl presupunem a fi proces aleator de medie
nulă:
 d2  E  d  n 
2
(4.34)
 
2. Mediile E u  n d   n şi E d  n uH  n se scriu astfel:

 E  u  n  d   n  
     p  0 
 
 E u  n  1 d  n 
 
 p  1 p
E u  n  d  n   

 (4.35)
   
   
p   M  1
 
E  u  n  M  1  d 
 n  
 



şi E d  n u H  n   p 0 p  1 p  M  1  p H (4.36)

3. În sfărşit, a patra medie este:
E u  n u H  n  R (4.37)
Drept urmare, ecuaţia (4.32) poate fi rescrisă sub forma:
J  w    d2  w H p  p H w  w H Rw
M 1 M 1 M 1 M 1 (4.38)
  d2   wk p  k    wk p  k     wk wi r i  k 
k 0 k 0 k 0 i 0

Ecuaţia (4.38) afirmă faptul că, în cazul în care semnalul de intrare în filtrul FIR şi
răspunsul dorit sunt mutual staţionare, funcţia de cost sau eroarea EPM J este o funcţie de
gradul doi de coeficienţii filtrului w0 , w1 , , wM 1 , fiind o suprafaţă paraboidală (de tip
cupă) în spaţiul M  1 dimensional cu M grade de libertate reprezentate de coeficienţii
filtrului. Această suprafaţă este caracterizată printr-un minim unic. Este denumită suprafaţa
erorii pătratice medii (vezi Figura 4.6) sau, pur şi simplu suprafaţă de eroare. Valoarea
minimă a erorii, notată prin J min este atinsă în punctul în care vectorul gradient J este
identic nul. Cu alte cuvinte se ajunge la ecuaţia:
k J  w   0, k  0,1,...., M -1 (4.39)
 4.4 Suprafaţa de eroare 93

Figura 4.6 (a) Suprafaţa de eroare medie pătratică pentru un filtru FIR cu
M  2 , (b) Curbele de contur ale aceluiaşi filtru.

cu soluţia, ecuaţiile Wiener-Hopf introduse în paragraful precedent.

Exemplul 4.2: Graficul din Figura 4.6 (a) reprezintă suprafaţa de eroare medie
pătratică pentru un filtru transversal cu M  2 coeficienţi. Figura 4.6 (b) prezintă
94 FILTRE LINEARE OPTIMALE - 4

contururile de eroare constantă ale suprafeţei obţinute prin secţionarea acesteia

cu plane paralele la planul  w1 , w2  .
Expresia funcţiei de eroare reprezentate în Figura 4.6 este dată de ecuaţia
(4.38), iar parametrii utilizaţi pentru reprezentare sunt
 4,5 0,1545  0,5 
R  ,  d2  0,5 şi p   
 0,1545 4,5   0,1545

4.4.2 Forma canonică a suprafeţei de eroare

Începem prin a rescrie expresia (4.38) a funcţiei de cost J  w  , punând în evidenţă depen-
denţa erorii de vectorul coeficienţilor filtrului:
J  w    d2  w H p  p H w  w H Rw
Eroarea atinge minimul J min pentru valoarea vectorului coeficienţilor w o care satisface
ecuaţiile Wiener-Hopf, ( Rw o  p ):
J min  J  wo    d2  woH Rwo   d2  woH p   d2  p H wo (4.40)
şi, întrucât matricea de corelaţie R este aproape întotdeauna pozitiv definită, matricea
inversă R 1 există şi ecuaţia (4.40) poate fi scrisă sub forma:
J min   d2  p H R 1p (4.41)
Ultima expresie este remarcabilă, întrucât exprimă valoarea minimă a erorii EPM numai în
funcţie de caracteristicile proceselor aleatoare implicate în operaţiunea de filtrare optimală,
nu şi de parametrii filtrului optimal.
Ecuaţia suprafeţei de eroare poate fi mai bine examinată calitativ dacă vom aplica o
translatare a axelor de coordonate astfel încât noua origine să se găsească în punctul de
localizare a filtrului optimal w o . Se înlocuieşte în acest scop în (4.38) vectorul w cu
 w  wo   wo . Astfel, se obţine ecuaţia (4.38) sub forma:
J  w    d2  p H w o   w  w o  R  w  w o 
H

(4.42)
  d2  p H R 1p   w  R 1p  R  w  R 1p 
H

Ultima expresie subliniază încă odată două caracteristici esenţiale ale filtrului FIR optimal.
În primul rând, termenul  w  R 1p  R  w  R 1p  este pozitiv întrucât matricea R este
H

pozitiv definită, anulându-se doar pentru w  R 1p , adică exact valoarea optimă a
coeficienţilor filtrului. În al doilea rând, atunci când w  R 1p , se anulează ultimul termen
din relaţia (4.42) şi funcţia de cost ia valoarea minimă specificată prin ecuaţia (4.41).
Exemplul 4.3: Pentru ca filtrarea optimală să fie eficientă din punctul de vedere
a EPM, intercorelaţia semnalului dorit d  n cu vectorul semnalului de intrare
 4.4 Suprafaţa de eroare 95

u  n trebuie să fie nenulă. Pentru a sublinia acest lucru vom considera două
cazuri.
Drept prim exemplu fie semnalul dorit, obţinut printr-o simplă întârziere cu 2
eşantioane a semnalului de intrare, împreună cu o atenuare de valoare a :
d  n  au  n  2
Semnalul de intrare u  n este necorelat, şi drept urmare:
R   2I M
În consecinţă, din (4.36) se scrie:
p  E u  n d   n  0 0 a 2
T
0 0
Soluţia matricială a ecuaţiei Wiener-Hopf se scrie:
wo  R 1p  0 0 a 0 0
T

iar EPM minimă este, conform cu ecuaţia (4.41), egală cu:

J min   d2  p H wo  a2 2  a 2  a  0
Este posibil în acest caz, ca cel puţin teoretic, să se obţină o eroare nulă, din cauza
gradului mare de corelaţie dintre semnalele u  n şi d  n .
Să comparăm acest prim rezultat cu cazul predicţiei liniare a unui semnal
necorelat. Acum se urmăreşte predicţia lui u  n pe baza eşantioanelor precedente
u  n  1 , u  n  2, , u  n  M  . Prin urmare, ieşirea filtrului y  n , utilizată
pentru predicţie, se descrie prin:
y  n  uˆ  n  w H u  n  1
În acest caz se scrie:
R  E u  n  1 u H  n  1   2I M

şi, pentru că u  n  este necorelat:

p  E u  n  1 u  n  0
Filtrul optimal are în acest caz coeficienţii:
wo  0 (4.43)
Filtrul „optimal” este, prin urmare, filtrul nul. Rezultatul se explică prin aceea că
în cazul unui semnal necorelat nu poate fi prezis corect eşantionul care urmează.
Orice altă predicţie ar fi eronată şi ar mări valoarea erorii J . Cea mai bună
predicţie este (4.43), întrucât menţine nivelul EPM la J   2 .
96 FILTRE LINEARE OPTIMALE - 4

4.5 Rezolvarea ecuaţiilor normale prin

descompunere triunghiulară
Vom prezenta, în cele ce urmează, o metodă numerică de rezolvare a ecuaţiilor normale şi
de calculare a EPM minime care utilizează descompunerea LDU a matricilor hermitice
pozitiv definite prezentată în paragraful 3.8. Conform ecuaţiei (3.147), aceste matrici pot fi
descompuse unic în produsul dintre o matrice inferior triunghiulară, o matrice diagonală şi
o matrice superior triunghiulară:
R  LDLH (4.44)
unde L este o matrice unitară inferior triunghiulară
1 0 0
l 1 0 
L 
10
(4.45)
 
 
lM 1,0 lM 1,1 1
iar D  diag 1 , 2 , , M  (4.46)
este o matrice diagonală cu elemente reale şi pozitive. Dacă descompunerea (4.44) este
cunoscută, atunci poate fi rezolvat sistemul de ecuaţii normale
Rw o  LD  LH w o   p (4.47)
prin găsirea în primul pas al soluţiei sistemului inferior triunghiular:
LDk p (4.48)
urmată în al doilea pas de rezolvarea sistemului superior triunghiular:
LH w o  k (4.49)
Avantajul acestei abordări a rezolvării ecuaţiilor normale este acela că rezolvarea unui
sistem de ecuaţii triunghiulare devine o problemă trivială.
Exemplul care urmează, ilustrează cum se face descompunerea LDLH şi cum se aplică
aceasta la rezolvarea sistemului de ecuaţii normale pentru M  3 . Generalizarea pentru un
ordin M oarecare este imediată.
Exemplul 4.4 Să se rezolve explicit un sistem de ecuaţii normale de ordinul
M  3 prin descompunerea LDLH .
Soluţie: Explicitarea relaţiei (4.44) este
 r11 r12 r13  1 0 0 1 0 0  1 l10* l20 *

r r       * 
 21 22 r23   l10 1 0 0  2 0  0 1 l21  (4.50)
 r31 r32 r33  l20 l21 1  0 0 3  0 0 1 
 4.5 Rezolvarea ecuaţiilor normale prin descompunere triunghiulară 97

unde facem presupunerea că rij  rij* şi i  0 . Efectuând multiplicarea matricilor

din membrul drept al ecuaţiei (4.50) şi egalând cu elementele matricii din membrul
stâng se obţine:
r11  1  1  r11
r21
r21  1l10  l10 
1
r22  1 l10   2   2  r22  1 l10
2 2

r31 (4.51)
r31  1l20  l20 
1
r32  1l20l10*
r32  1l20l10*   2l21  l21 
2
r22  1 l20   2 l21  3   2  r33  1 l20   2 l21
2 2 2 2

Calculul elementelor descompunerii LDLH se efectuează linie după linie, iar

calculul unei linii a matricii nu schimbă liniile deja calculate.
Sistemul unitar triunghiular din (4.48) devine:
1 0 0   1k1   p  0 
l    
 10 1 0   2 k2    p  1 
(4.52)
l20 l21 1  3k3   p  2
şi poate fi rezolvat prin substituţie, pornind de la prima ecuaţie. Se obţine:
p  0
1k1  p  0  k1 
1
p  1  l101k1
l101k1   2 k2  p  1  k2  (4.53)
2
p  2  l201k1  l21 2 k2
l201k1  l21 2 k2   2 k2  p  2  k3 
2
Coeficienţii ki sunt calculaţi, ca şi pentru lij respectiv  i în ordine „directă”.
Valoarea coeficienţilor filtrului optimal rezultă în urma rezolvării sistemului triun-
ghiular superior (4.49) prin substituţie în ordine „inversă”, adică, substituţia
începe de la ultima ecuaţie din sistem:
98 FILTRE LINEARE OPTIMALE - 4
Tabelul 4.1 Algoritmul de rezolvare a ecuaţiilor normale prin descompunere triunghiulară.

Pentru i  1, 2, , M şi pentru j  0,1, , i 1,

1 j 1
* 
lij   ri 1, j 1   m1liml jm  (nu se execută pentru i  M )
i  m 0 
j 1
i  rii   m li 1,m1
2

m 1
Pentru i  1, 2, ,M,
p  i  1 i 2
ki    li 1, M kM 1
i m0

Pentru i  M , M  1, ,1,
M
wo,i  ki  l
m i 1
*
m 1,i 1 wo,m

1 l10* l20
*
  wo,1   k1  wo,3  k3
 *    
0 1 l21   wo,2    k2   wo,2  k2  l21wo,3
*
(4.54)
0 0 1   wo,3   k3  wo,1  k1  l10* wo,2  l20
*
wo,3
  
Consecinţa substituţiei în ordine „inversă” este că în cazul în care se doreşte să se
calculeze încă un coeficient al filtrului optimal, se modifică valorile tuturor
coeficienţilor calculaţi anterior.
Tabelul 4.1 generalizează rezultatul din Exemplul 4.4, formulând algoritmul de rezol-
vare a ecuaţiilor normale prin descompunerea LDLH . Descompunerea triunghiulară nece-
sită M 3 6 operaţii iar soluţia unui sistem triunghiular presupune efectuarea a
M  M  1 2  M 2 2 operaţii.
Descompunerea LDLH din (4.44) oferă o abordare simplă a calculului EPM minime a
filtrului optimal J min fără a recurge la calculul coeficienţilor acestuia. În acest scop, prin
utilizarea relaţiilor (4.40), (4.44) şi (4.49), se obţine:
J min   d2  p H wo   d2  k H L1R  L1  k   d2  k H Dk
H
(4.55)
M
J min   d2   i ki
2
sau, sub formă scalară: (4.56)
i 1

pentru că matricea D este diagonală.

Relaţia (4.56) este extrem de importantă, pentru că ea demonstrează că, întrucât i  0 ,
creşterea ordinului filtrului (mărirea numărului de coeficienţi) determină reducerea erorii
 4.6 Reprezentarea prin transformare a filtrului optimal 99

minime şi, prin urmare, conduce la o estimare mai bună a semnalului dorit (Manolakis, ş.a.
2005). În sfârşit, pentru că determinantul unei matrici unitare inferior triunghiulare este egal
cu unu, din (4.44) se obţine:

det R   det L  det D   det LH    i

M
(4.57)
i 1

ceea ce arată că, dacă R este pozitiv definită, i  0, i şi viceversa.

Elementele diagonale  i , obţinute prin descompunerea triunghiulară a matricii R sunt
pozitive, astfel încât matricea
L LD1 2 (4.58)
este inferior triunghiulară cu elemente diagonale pozitive. Atunci, definiţia (4.44) poate fi
rescrisă sub forma:
R  LL H (4.59)
cunoscută sub numele de factorizarea (descompunerea) Cholesky a matricii R (Golub şi
Van_Loan 1996). Calculul matricii L necesită M 3 6 multiplicări şi adunări şi M rădăcini
pătrate. În MATLAB, calculul poate fi efectuat utilizând funcţia L=chol(R,’lower’),
care implementează prima parte a algoritmului din Tabelul 4.1. Funcţia chol se constituie
într-un mijloc eficient de testare a caracterului pozitiv definit al matricii R, pentru că în cazul
în care aceasta nu este pozitiv definită, mediul MATLAB furnizează un mesaj de eroare.

4.6 Reprezentarea prin transformare a

filtrului optimal
Proprietăţile filtrelor lineare optimale şi suprafeţele lor de eroare depind de matricea de
corelaţie R . Se pot afla o serie de informaţii preţioase despre natura filtrului optimal dacă
R este exprimat în funcţie de valorile şi vectorii săi proprii. Într-adevăr din Capitolul 3
avem
M
R = QΛQ H   i qi qiH şi Λ  Q H RQ (4.60)
i 1

unde Λ  diag  1 , 2 , , M  (4.61)

sunt valorile proprii ale lui R , presupuse a fi distincte, iar
Q  q1 q2 qM  (4.62)
sunt vectorii proprii ai lui R . Matricea Q este unitară, adică
QH Q  I (4.63)
1
ceea ce implică Q  Q . Relaţia (4.60) dintre R şi Λ este cunoscută sub numele de
H

transformarea de similaritate.
100 FILTRE LINEARE OPTIMALE - 4

În general, prin multiplicarea unui vector cu o matrice se schimbă atât lungimea cât şi
direcţia vectorului. Definim o transformare de coordonate a vectorului coeficienţilor
filtrului optimal prin
w 'o QH wo sau wo Qw 'o (4.64)

wo   Qw 'o  Qw 'o  w 'oH QH Qw 'o  w 'o

H
Pentru că (4.65)
transformarea (4.64) modifică direcţia vectorului transformat dar nu-i modifică lungimea.
Dacă se înlocuieşte (4.64) în ecuaţiile normale (4.28), se obţine:
QΛQH wo  p sau ΛQH wo  QH p
ceea ce conduce la
Λw 'o  p ' (4.66)
unde p ' QH p sau p Qp ' (4.67)
este vectorul de intercorelaţie transformat.
Din cauza faptului că Λ este o matrice diagonală, setul de M ecuaţii (4.66) se poate
scrie astfel:
i w 'oi  p 'i 1  i  M (4.68)
unde w 'oi şi p 'i sunt componentele lui w 'o respectiv lui p ' . Ecuaţiile (4.68) sunt un set de
M ecuaţii de gradul întâi „necuplate”, pentru că dacă i  0 , atunci
p 'i
w 'oi  , 1 i  M (4.69)
i
iar dacă i  0 , atunci valoarea lui w 'oi este nedeterminată.
În ceea ce priveşte valoarea minimă a EPM, aceasta devine
J min   d2  p H w o   d2   Qp ' Qw 'o   d2  p 'H w 'o
H

2
M M p 'i (4.70)
    p ' w 'oi    
2  2

i
d i d
i 1 i 1

ceea ce evidenţiază modul în care valorile proprii şi componentele de intercorelaţie „necu-

plate” afectează performanţa filtrului optimal. Relaţiile (4.69) şi (4.70) oferă avantajul
studierii comportării fiecărui parametru al filtrului optimal, independent de ceilalţi
parametrii.
În continuare ne vom referi la semnificaţia transformării de similaritate asupra
suprafeţei de eroare de ordinul doi, rezultatele obţinute fiind uşor de generalizat la cazul
filtrului FIR de ordinul M, a cărui suprafaţă de eroare se reprezintă într-un spaţiu cu M  1
dimensiuni. Figura 4.7 reprezintă contururile de eroare pătratică medie constantă pentru o
suprafaţă de eroare de ordinul doi, pozitiv definită. Contururile sunt elipse concentrice
centrate pe vârful vectorului optim al coeficienţilor w o . Definim un nou sistem de coordo-
 4.6 Reprezentarea prin transformare a filtrului optimal 101

Figura 4.7 Contururile de eroare constantă şi axele de coordo-

nate principale pentru o suprafaţă de eroare de ordi-
nul doi.

nate, având originea în w o şi axele determinate de axele elipsei v1 şi v 2 . Cele două axe
sunt ortogonale, iar sistemul rezultat este cunoscut sub numele de sistem principal de
coordonate. Transformarea de la sistemul „vechi” la cel „nou” se face în doi paşi:
Translaţie: w  w  wo
(4.71)
Rotaţie: v  QH w
unde rotaţia schimbă axele spaţiului pentru a le alinia cu axele elipsoidului. Expresia EPM
(4.42) devine
J  v   J min  w H Rw  J min  w H QΛQ H w
M (4.72)
 J min  v H Λv  J min   i vi
2

i 1

care arată că penalitatea plătită pentru deviaţia unui parametru de la valoarea sa optimală
este proporţională cu valoarea proprie corespunzătoare.
Utilizând transformarea de similaritate (4.60), avem
M
qiH p M
p 'i
w o  R 1p  QΛ 1Q H p   qi   qi (4.73)
i 1 i i 1 i
iar semnalul optimal de la ieşirea filtrului poate fi scris astfel
 M
 q u  n 
p 'i
d  n Un   yo  n  w H u  n   (4.74)
i
i
i 1

ceea ce conduce la reprezentarea filtrului optimal din Figura 4.8. Filtrele de valori proprii
q i decorelează vectorul de intrare u  n în componentele sale principale, care, în continuare,
sunt ponderate şi însumate pentru a furniza semnalul de ieşire optim.
102 FILTRE LINEARE OPTIMALE - 4

Figura 4.8 Reprezentarea prin transformarea pe axele de coordonate

principale a filtrului linear optimal.

4.7 Caracterizarea în frecvenţă a filtrului

optimal
Paragraful este dedicat caracterizării în domeniul frecvenţă a filtrului Wiener. Dacă, în
studiul întreprins în acest Capitol până în acest punct ne-am limitat la cazul filtrelor FIR
cauzale, în acest paragraf vom include în aria de acoperire şi filtrele necauzale, astfel că vom
considera că răspunsul în timp al filtrului optimal se întinde de la n   la n   . În
virtutea ipotezei făcute, rescriem principiul ortogonalităţii din (4.13) astfel:
E u  n  k  eo*  n  0, k  ,  2,  1,0,1,2, (4.75)

unde eo  n este eroarea de estimare optimă.

Modificarea făcută în ecuaţiile (4.13) prin (4.75) aduce drept consecinţă şi o nouă formă
a ecuaţiilor Wiener-Hopf (4.22):


 w r i  k   p  k 
i 
oi k ,  2,  1,0,1,2, (4.76)

Relaţia (4.76) poate fi considerată ca fiind generală, astfel încât putem să recurgem în
continuare la exprimarea ei în domeniul frecvenţă. În acest scop vom scrie pentru început
răspunsul în frecvenţă al filtrului FIR caracterizat de vectorul coeficienţilor w o :

Wo     w
k 
ok e jk (4.77)

De asemenea, aşa cum s-a stabilit în Capitolul 3, transformata Fourier în timp discret a
funcţiei de autocorelaţie r l  este Su    , densitatea spectrală de putere a procesului aleator
u  n . În ceea ce priveşte membrul drept al ecuaţiei(4.76), p  k   E u n  k d * n  este
funcţia de intercorelaţie, p  k   rud  k  a cărei transformare Fourier în timp discret
poartă, aşa cum s-a introdus în Capitolul 3, numele de densitate spectrală mutuală de putere
*
sau interspectru: Sud    Sdu   .
 4.8 Egalizarea de canal 103

Cu aceste precizări şi având în vedere că transformarea Fourier în timp discret a

produsului de convoluţie în domeniul timp este un produs în domeniul frecvenţă, expresia
(4.76) se scrie în frecvenţă astfel:
Su  Wo    Sud
*
  (4.78)
Această ultimă relaţie poartă numele de ecuaţia Wiener-Hopf în domeniul frecvenţă. Filtrul
optimal Wiener-Hopf are funcţia de transfer

Wo    
*
Sud  
Sdu   
(4.79)
Su    Su   
Vom spune că răspunsul în frecvenţă al filtrului Wiener optimal la o frecvenţă dată
  i este determinat de raportul dintre densitatea spectrală mutuală a proceselor d  n
şi u  n şi densitatea spectrală de putere a procesului u  n la   i .
Expresia în domeniul frecvenţă a erorii pătratice medii (EPM) minime pentru filtrul
Wiener optimal se obţine prin înlocuirea relaţiei (4.79) în ecuaţia (4.40). În condiţiile în care
răspunsul filtrului se întinde de la n   la n   , aceasta poate fi rescrisă astfel:

J min  J  w o    d2  p H w o   d2   p  k  w
k 
*
o,k (4.80)

În continuare, utilizăm relaţia lui Parseval de mai jos

 
1
 x nx n  2   X   X   d 
n 
1
*
2  1
*
2 (4.81)

şi înlocuim suma de convoluţie din (4.80) cu echivalentul său din domeniul frecvenţă. Se
obţine:
1 
Sud   Wo    d 
2 
J min   d2  (4.82)

Ultima expresie este corectă, indiferent de tipul filtrului optimal, FIR sau IIR, atâta timp cât
în relaţia (4.80) sunt utilizate limitele corecte pentru sumă.

4.8 Egalizarea de canal

Ne vom îndrepta în continuare atenţia asupra câtorva aplicaţii ale teoriei filtrării optimale.
Mai întâi în acest paragraf va fi prezentată o aplicaţie din domeniul comunicaţiilor de date.
În continuare, vom discuta despre problemele care apar în filtrarea spaţială şi modul în care
optimizarea în sens Wiener a filtrării spaţiale se aplică în acest gen de aplicaţii.
Un canal de comunicaţii care se pretează bine la transmisia semnalelor digitale este
canalul telefonic. El este caracterizat printr-un raport semnal/zgomot mare. Cu toate acestea,
o limitare practică importantă a canalului telefonic este aceea că el este de bandă limitată.
Drept urmare, atunci când se transmite pe acest canal informaţie prin intermediul unei
modulaţii discrete în amplitudine şi fază a unei purtătoare sinusoidale, numărul de nivele
detectabile pe care canalul telefonic le poate suporta este limitat în principal mai degrabă de
104 FILTRE LINEARE OPTIMALE - 4

Figura 4.9 Schema de principiu a egalizării unui canal de comunicaţii.

interferenţa intersimbol (ISI – InterSymbol Interference) decât de zgomotul aditiv de pe

canal. În consecinţă, vom neglija în cele ce urmează zgomotul de pe canal. Interferenţa
intersimbol (ISI) se produce ca urmare a efectului de ”lăţire” a impulsurilor transmise, ce
este datorat naturii dispersive a canalului şi are drept consecinţă suprapunerea impulsurilor
adiacente. Dacă fenomenul ISI nu este combătut, pot apărea erori la reconstrucţia fluxului de
date la ieşirea receptorului. O metodă eficientă de combatere a degradării transmisiei ca
urmare a ISI este conectarea în cascadă cu canalul a unui egalizor ca în Figura 4.9. Structura
utilizată cu bune rezultate pe post de egalizor este cea de filtru transversal prezentată în
Figura 4.10 (Haykin 1996). Egalizorul este un sistem simetric, numărul de celule ale filtrului
egalizor fiind ales egal cu  2 N  1 , coeficienţii filtrului transversal fiind prin urmare notaţi
cu h N , , h1 , h0 , h1 , , hN . Răspunsul la impuls al egalizorului este, prin urmare
N
h  n   h  n  k 
k (4.83)
k  N

unde   n este impulsul unitate. Similar, putem exprima răspunsul la impuls al canalului
prin:
c  n   ck   n  k  (4.84)
k

În lumina celor discutate anterior, zgomotul canalului poate fi ignorat. În consecinţă,

conexiunea în cascadă a canalului şi a egalizorului este echivalentă cu un singur filtru
digital. Vom defini răspunsul la impuls a filtrului echivalent prin:
N
w n    w  n  k 
k (4.85)
k  N

Figura 4.10 Filtru transversal simetric utilizat la implementarea blocului egalizor.

 4.8 Egalizarea de canal 105

unde secvenţa w n este egală cu convoluţia secvenţelor c  n şi h  n . Prin urmare, coefi-

cienţii filtrului transversal sunt
N
wl  hc
k  N
k l k , l  0,  1, ,N (4.86)

Fie secvenţa de date u  n aplicată la intrarea canalului, o secvenţă necorelată cu media

zero şi varianţă unitară. În practică, o asemenea secvenţă poate fi bine aproximată printr-o
secvenţă pseudo-aleatoare generată de un registru de deplasare cu reacţie. Conform acestei
ipoteze, putem exprima elementele matricii de corelaţie R a semnalului de la intrarea
canalului după cum urmează:
1, l  0
r l    (4.87)
0, l  0
Drept semnal de răspuns dorit d  n aplicat filtrului egalizor, vom presupune că este
disponibilă o „replică” întârziată a secvenţei transmise. Răspunsul dorit poate fi generat de
un al doilea registru de deplasare cu reacţie, identic cu cel utilizat pentru generarea secvenţei
de date originale u  n . Cele două registre de deplasare cu reacţie sunt sincronizate unul cu
celălalt, astfel încât are loc egalitatea d  n  u  n , unde momentul de timp n se măsoară în
raport cu celula centrală a filtrului egalizor. Drept urmare, intercorelaţia secvenţei de intrare
u  n cu răspunsul dorit d  n este definită prin
1, l  0
p l    (4.88)
0, l  1,  2, ,  N
În acest moment, cadrul pentru aplicarea ecuaţiilor Wiener-Hopf (4.22) este fixat.
Potrivit ecuaţiilor (4.87) şi (4.88), vom impune
1, l  0
wl   (4.89)
0, l  1,  2, ,N
Pe de altă parte, dacă facem apel la suma de convoluţie din ecuaţia (4.86), avem:
N
1, l  0
hc k l k  (4.90)
k  N 0, l  1,  2, ,N
Acest sistem de ecuaţii simultane poate fi rescris în formă matricială extinsă astfel:
106 FILTRE LINEARE OPTIMALE - 4

 c0 c N 1 c N c N 1 c2 N   h N  0 
    
    
 cN 1 c0 c1 c2 c N 1   h1  0 
    
 cN c1 c0 c1 c N   h0   1  (4.91)
cN 1 c2 c1 c0 c N 1   h1  0 
    
    
c c0   hN  0 
 2N cN 1 cN cN 1
În concluzie, dacă se cunoaşte răspunsul la impuls al canalului, caracterizat de
coeficienţii c N , , c1 , c0 , c1 , , cN , se utilizează ecuaţia (4.91) pentru a determina coefi-
cienţii necunoscuţi ai filtrului egalizor h N , , h1 , h0 , h1 , , hN .
În literatura de specialitate (Lucky, ş.a. 1968), un egalizor proiectat în conformitate cu
ecuaţia (4.91) poartă numele de egalizor cu forţare de zero (zero-forcing equalizer).
Egalizorul este denumit astfel, întrucât dacă se transmite un singur impuls pe canal, el
„forţează” ieşirea receptorului să fie nulă la toate momentele de eşantionare, cu excepţia
momentului de timp ce corespunde impulsului transmis.
Principalul inconvenient al egalizoarelor zero-forcing (Manolakis, ş.a. 2005) este acela
că ignoră prezenţa zgomotului pe canal şi prin urmare, amplifică zgomotul care apare în
vecinătatea frecvenţelor la care amplificarea pe canal este nulă. De asemenea nu
funcţionează corect decât la valori mari ale raportului semnal/zgomot. Acestea sunt motivele
pentru care, la nivele de zgomot importante sunt preferate aşa-numitele egalizoare cu EPM
minimă (Minimum MSE Equalizers) care sunt mai robuste întrucât iau în considerare atât
ISI cât şi proprietăţile statistice ale zgomotului (Qureshi 1985).

4.9 Filtrul de varianţă minimă cu

constrângeri lineare
Caracteristic unui filtru Wiener este faptul că acesta minimizează valoarea pătratică medie a
erorii de estimare definită ca diferenţă dintre răspunsul dorit şi ieşirea filtrului. Nu există
constrângeri asupra soluţiei în rezolvarea problemei de minimizare. Există aplicaţii de
filtrare care au drept obiectiv proiectarea unui filtru care minimizează în medie pătratică un
criteriu impus, totodată acelaşi filtru fiind supus unor anumite constrângeri suplimentare. De
exemplu, se poate cere să se minimizeze puterea de ieşire medie a unui filtru linear şi, toto-
dată, acesta să asigure o amplitudine constantă a semnalului de ieşire la o anumită frecvenţă.
Acest paragraf, pe lâgă faptul că prezintă o anumită categorie de filtre spaţiale ce sunt reali-
zate pe baza criteriilor prezentate mai sus, se doreşte a se constitui într-o introducere în
problema filtrării optimale cu constrângeri.
Vom începe prin a considera filtrul transversal linear din Figura 4.4. Semnalul de ieşire
a filtrului, ca răspuns la excitaţiile de intrare u  n , u  n  1 , u  n  M  1 este dat de
 4.9 Filtrul de varianţă minimă cu constrângeri lineare 107

M 1
y  n   wk*u  n  k  (4.92)
k 0

În cazul special al unei excitaţii sinusoidale

u  n  e jn (4.93)
ecuaţia (4.92) se rescrie sub forma
M 1
y  n  e jn  wk*e jk (4.94)
k 0

Problema de optimizare cu constrângere pe care dorim să o rezolvăm pentru acest

filtru, poate fi enunţată astfel
Să se determine setul optim de coeficienţi ai filtrului wo c0 , wo 1c  , c
woM 1 care mini-

mizează valoarea pătratică medie a ieşirii filtrului y  n ,

M 1 M 1
Po  E  yo  n   woc  H Rwoc     wok woi r i  k 
 c *  c 
2
(4.95)
  k 0 i 0

supus constrângerii liniare

M 1

 w  e
k 0
c *  j o k
ok g (4.96)

unde o este o valoare prescrisă a frecvenţei  cuprinsă în intervalul

     iar g este o constantă complexă.
Problema de optimizare cu constrângere a filtrării aşa cum este descrisă prin ecuaţiile
(4.92) şi (4.96) este o problemă de natură temporală. Există şi o versiune spaţială a acestei
probleme de optimizare cu constrângere, întâlnită în cazul reţelelor liniare de receptoare
(senzori, antene) uniform distanţate, utilizată la stabilirea poziţiei unei surse de radiaţie
izotrope situate în regiunea de câmp îndepărtat (vezi Figura 4.11). Ieşirile acestor receptoare
sunt, pentru început, multiplicate fiecare în parte cu nişte ponderi variabile, iar în final însu-
mate, obţinându-se astfel un filtru transversal nu în domeniul timp ca cele utilizate în lucra-
re, ci mai degrabă în domeniu spaţial, datorită distanţelor egale d ce există între elementele
reţelei de antene. Prin utilizarea optimizării cu constrângere la o reţea de antene, pe de o
parte se maximizează rezoluţia reţelei pe o direcţie dată, iar pe de altă parte, se minimizează
puterea semnalului recepţionat pe toate celelalte direcţii. După cum s-a specificat în
Capitolul 1, în literatura de specialitate reţeaua de senzori (antene) direcţionabilă poartă
numele de beamformer (formator de fascicul).
Comparând filtrul transversal din Figura 4.4 şi beamformer-ul din Figura 4.11, se
observă că deşi acestea sunt complet diferite din punct de vedere fizic, cele două situaţii sunt
complet echivalente din punctul de vedere a formulării matematice, întrucât ambele cazuri
se rezolvă printr-o optimizare cu constrângere. Astfel în cazul filtrării spaţiale, locul
frecvenţei temporale o este luat de frecvenţa spaţială (unghi de incidenţă) o iar prin
filtrarea cu constrângere se urmăreşte să se menţină constant nivelul semnalului de unghi de
108 FILTRE LINEARE OPTIMALE - 4

Figura 4.11 Undă plană incidentă pe o reţea de 5 sensori. Ponderile cu care

sunt însumate contribuţiile senzorilor sunt controlate printr-un
algoritm adaptiv.
incidenţă o concomitent cu minimizarea tuturor semnalelor ce au un alt unghi de
incidenţă. Vom exemplifica, în continuare, rezolvarea problemei de optimizare cu
constrângere pentru cazul filtrului transversal.
În general, rezolvarea problemei de optimizare cu constrângere, face apel la metoda
multiplicatorilor lui Lagrange (Ştefănescu şi Zidăroiu 1981). Se începe prin a defini o
funcţie de cost reală J  c   w,   , care combină cele două laturi ale problemei de optimizare
cu constrângere:
M 1 M 1
  M 1 
J c  w,      wk* wi r i  k   Re  *   wk*e  jo k  g   (4.97)
k 0 i 0   k 0 
puterea de ieşire constrângere lineară
unde  este multiplicatorul complex al lui Lagrange. Faţă de filtrul optimal Wiener, în
acest caz există o diferenţă, şi anume lipseşte răspunsul dorit din definiţia funcţiei de cost
J  c   w,   . În schimb, această funcţie include o constrângere lineară ce trebuie să fie
satisfăcută la frecvenţa impusă  o . În orice caz, impunerea constrângerii conservă
semnalul de interes, iar minimizarea funcţiei J  c  atenuează zgomotul sau interferenţele ce
pot deveni deranjante dacă nu sunt ţinute sub control.
Pentru a calcula valorile optimale ale coeficienţilor filtrului transversal care minimizea-
ză funcţia de cost J  c  definită prin ecuaţia (4.97), se determină vectorul gradient J  c  , iar
 4.9 Filtrul de varianţă minimă cu constrângeri lineare 109

apoi se egalează acesta cu zero. Aplicând o procedură similară celei utilizate în paragraful
4.2.1 se stabileşte că componenta k a gradientului J  c  este
M 1
k J  c   2  wi r i  k    *e jo k (4.98)
i 0

Fie woi c  componenta i a vectorului coeficienţilor filtrului optimal w oc  . Atunci, condiţia de
optim pentru filtrul transversal se scrie astfel:
M 1
*
 w  r i  k    2 e
i 0
c
oi
 j o k
, k  0,1, , M 1 (4.99)

Sistemul de M ecuaţii simultane (4.99) definesc valorile optime ale coeficienţilor filtrului
optimal cu constrângerea (4.96). Sistemul are o formă similară cu cea a ecuaţiei Wiener-
Hopf din (4.22).
În acest punct al expunerii este mai comod să trecem la formularea matricială a
problemei de optimizare, întrucât sistemul de M ecuaţii lineare din (4.99) se exprimă în
aceste condiţii astfel:
*
Rw oc    s  o  (4.100)
2
Ca şi în restul capitolului, R este matricea de corelaţie M  M iar w oc  e vectorul ponde-
rilor optimale ale filtrului optimizat cu constrângerea (4.96). În sfârşit, s  o  este vectorul

s  o   1 e jo e j  M 1o 

T
(4.101)

Soluţia ecuaţiei (4.100) este

*
w oc    R 1s  o  (4.102)
2
unde R 1 este inversa matricii de corelaţie R , considerând că matricea R e nesingulară.
Soluţia (4.102) a vectorului coeficienţilor filtrului optimal w oc  nu este explicită,
întrucât în expresie intervine multiplicatorul lui Lagrange  care este necunoscut. Pentru a
elimina pe  * din această ecuaţie, se recurge la relaţia care introduce constrângerea lineară,
(4.96). Varianta matricială a relaţiei (4.96) este
woc  H s  o   g (4.103)
Pentru a determina valoarea constantei Lagrange  , calculăm transpusa hermitică a relaţiei
(4.102) şi postmultiplicăm apoi rezultatul cu s  o  . În sfârşit, se face apel la relaţia (4.103)
pentru a introduce constanta complexă g . Rezultatul final este:
2g
 (4.104)
s H  o  R 1s  o 
110 FILTRE LINEARE OPTIMALE - 4

unde s-a utilizat proprietatea R H  R 1 . Forma pătratică s H  o  R 1s  o  este reală. În

final, înlocuind (4.104) în (4.102) se obţine formula căutată a vectorului ponderilor optimale
g *R 1s  o 
w oc   (4.105)
s H  o  R 1s  o 
De observat că prin minimizarea puterii (varianţei) la ieşirea filtrului şi totodată prin
respectarea constrângerii (4.96), filtrul tinde să atenueze toate semnalele ale căror frecvenţă
este diferită de o .
Minimul funcţiei de cost, cu alte cuvinte valoarea minimă a puterii la ieşirea filtrului
optimal este dată de particularizarea relaţiei (4.97) pentru frecvenţa  o :

  1
 w o  H Rw o  
c c c
J min (4.106)
s  o  R 1s  o 
H

unde s-a considerat g  1 .

Procesul de minimizare a varianţei care conduce la rezultatul din (4.106), indică faptul
c
că J min reprezintă o estimare de varianţă minimă şi fără distorsiuni a puterii la frecvenţa
o .
Rezultatul obţinut pentru filtrul transversal în domeniul timp poate fi generalizat în
cazul filtrării spaţiale, introducând o estimare a varianţei în funcţie de frecvenţa spaţială  .
c
Înlocuind pe  prin  , exprimăm valoarea minimă a funcţiei de cost J min . În acest mod se
defineşte în cazul filtrării spaţiale, spectrul de putere al estimatorului de varianţă minimă
fără distorsiuni (Minimum Variance Distorsionless Response – MVDR):
1
SMVDR     (4.107)
s    R 1s   
H

s     1 e j e j  M 1 
T
unde: (4.108)

Vectorul s    de dimensiune M  M este denumit, în contextul beamformer-ului din

Figura 4.11, vector spaţial de scanare. Prin definiţie SMVDR    are dimensiuni de putere.
Dependenţa sa de unghiul electric  al reţelei spaţiale, justifică denumirea de estimator al
spectrului de putere. De observat că pentru orice alt unghi de incidenţă  , puterea undei
incidente este minimizată. Drept urmare, spectrul obţinut prin filtrare MVDR tinde să aibă
maxime mai ascuţite şi o mai mare rezoluţie în raport cu cele oferite de alte metode
neparametrice.
 FILTRE LINEARE OPTIMALE Probleme 111

Probleme
P 4.1 Fie un filtru Wiener determinat de matricea de corelaţie R a vectorului de intrare
u  n , vectorul de intercorelaţie a lui u  n cu răspunsul dorit d  n şi varianţa
răspunsului dorit  d2 , definite prin
1 0,7  0,5 
R , p  şi  d  2
2

 0,7 1   0,25 
(a) Calculaţi coeficienţii filtrului Wiener şi EPM minimă produsă de acest filtru
Wiener.
(b) Determinaţi expresia funcţiei de cost şi reprezentaţi suprafaţa de eroare, utilizând
MATLAB.
(c) Formulaţi o reprezentare a filtrului Wiener utilizând valorile proprii şi vectorii
proprii asociaţi ai matricii R.
P 4.2 Să se examineze problema de egalizare adaptivă din Figura 4.12. Simbolurile
generate de sursa s  n  se presupun a fi eşantioane ale unui proces de zgomot alb
de varianţă unitară.
(a) Să se determine matricea de corelaţie R a semnalului de la intrarea egalizorului şi
vectorul de intercorelaţie p dintre semnalul de intrare şi semnalul dorit.
(b) Să se determine valorile optime ale coeficienţilor egalizorului.
(c) Care este EPM minimă de la ieşirea egalizorului.
(d) Se pot explica rezultatele obţinute la punctele (b) şi (c) fără a recurge la toate
calculele efectuate? Cum şi de ce?
P 4.3 Fie procesul aleator armonic d  n  A cos  0 n    de amplitudine şi frecvenţă
fixe dar necunoscute şi fază aleatoate, distribuită uniform pe intervalul 0    2 .
Procesul este afectat de zgomotul aditiv alb gaussian v  n de medie nulă şi
varianţă  v2 . Semnalul rezultat u  n  d  n  v  n este disponibil pentru
procesare.
(a) Să se calculeze coeficienţii filtrului Wiener de ordinul doi cu intrare u  n şi
semnal dorit d  n pentru A  0,5, 0  0,1 şi  v2  0,5 .

Figura 4.12 Schema de egalizare din problema P 4.2.

112 FILTRE LINEARE OPTIMALE - 4

(b) Calculaţi EPM minimă a filtrului Wiener obţinut.

(c) Calculaţi RSZ la intrarea respectiv la ieşirea filtrului Wiener, exprimând în dB
câştigul pe care îl realizează filtrul Wiener proiectat.
P 4.4 Scopul acestei probleme este explorarea utilizării filtrării Wiener în radiolocaţie.
Expresia în timp discret a semnalului emis de radar este A0 e j0 n unde 0 este
frecvenţa semnalului transmis iar A0 este amplitudinea lui complexă. Semnalul
recepţionat este
u  n  A1e j1n  v  n
unde A1  A0 , 1 diferă de 0 datorită deplasării Doppler produse de
mişcarea ţintei iar v  n este un eşantion de zgomot alb.
(a) Arătaţi că matricea de corelaţie a seriei temporale u  n compuse din M elemente
se poate scrie
R   v2I  12s  1  s H  1 

unde  v2 este varianţa zgomotului alb de medie nulă v  n , iar  12  E  A1  şi

2
 
s  1   1 e j1 e j1  M 1 
T

(b) Seria temporală u  n se aplică unui filtru Wiener cu M coeficienţi, vectorul de

intercorelaţie p dintre u  n şi răspunsul dorit d  n fiind dat de
p   02s  0 

 02  E  A0 
2
unde
 
s  0   1 e j0 e j0  M 1 
T
şi

Deduceţi o expresie pentru calculul vectorului coeficienţilor filtrului Wiener.

P 4.5 Vom considera semnalul dorit d  n  0,8d  n  1  w n generat de procesul
zgomot alb w n de medie nulă şi varianţă  w2 . Acest semnal este trecut prin
sistemul cauzal H  z   1  0,9 z 1 a cărui ieşire s  n  este afectată de zgomotul alb
aditiv v  n de medie nulă şi varianţă  v2 . Procesele w n  şi v  n sunt necorelate
cu  w2  0,3 şi  v2  0,1 .
(a) Calculaţi filtrul FIR optim de ordinul doi care estimează pe d  n din semnalul
u  n  s  n  v  n şi determinaţi w o şi J min .
(b) Reprezentaţi suprafaţa de eroare şi verificaţi că este pătratică iar punctul
corespunzător filtrului optim se găseşte în punctul ei de minim.
 FILTRE LINEARE OPTIMALE Probleme 113

v  n

1  4z 1
d  n

y  n
1 2 w0  w1 z 1 e  n

s  n 1   z 1 u  n
Figura 4.13 Schema de modelare din problema P 4.6.

(c) Repetaţi punctul (a) pentru un filtru de ordinul trei şi verificaţi dacă există vreo
îmbunătăţire în acest caz.
P 4.6 Se consideră problema de modelare de sistem prezentată în Figura 4.13. Semnalul
s  n  este de tip zgomot alb cu dispersia unitară, iar semnalul v  n are dispersia
 v2  0.1 .
(a) Să se găsească matricea de corelaţie R a coeficienţilor de intrare ai filtrului
precum şi vectorul de intercorelaţie p dintre vectorul de intrare u  n şi semnalul
dorit d  n .
(b) Să se găsească coeficienţii optimali ai filtrului Wiener.
(c) Care este eroarea pătratică medie minimă ? Să se determine această eroare atât
în mod analitic cât şi prin inspectarea directă a schemei din figură.
P 4.7 Consideraţi procesul aleator armonic
d0  n  A cos  0 n   
cu amplitudine şi frecvenţă fixe dar necunoscute, şi faza aleatoare  distribuită
uniform pe intervalul 0,2  . Acest proces este afectat de zgomotul alb gaussian
aditiv v  n de medie nulă şi varianţă  v2 , care este necorelat cu d0  n . Semnalul
rezultat d  n  d0  n  v n este disponibil utilizatorului pentru prelucrare.
(a) Arătaţi că funcţia de autocorelaţie a procesului d0  n este
rd0 l    A2 2  cos 0l .
(b) Scrieţi o funcţie MATLAB w=opt_fir(A,omega0,var_v,M) pentru a
proiecta filtrul FIR optimal de ordinul M cu răspunsul la impuls w n . Utilizaţi
funcţia toeplitz din MATLAB pentru a genera matricea de corelaţie R.
(c) Utilizaţi MATLAB pentru a determina şi reprezenta răspunsul în amplitudine al
filtrului optimal FIR de ordinul 20 pentru A  0,5, omega0  0,05 şi  v2  0,5 .
114 FILTRE LINEARE OPTIMALE - 4

P 4.8 Consideraţi semnalul u  n  d  n  v  n , unde d  n este semnalul util aleator

corupt de zgomotul v  n . Procesele d  n şi v  n sunt necorelate, având
densităţile spectrale de putere
 
1, 0    2
Sd     
0,     
 2
  
1, 

Sv     
respectiv 4 2
0, 0    şi     


 4 2
(a) Determinaţi funcţia de transfer în frecvenţă a filtrului FIR optimal şi EPM minimă.
Este acesta un filtru FIR?
(b) Determinaţi un filtru FIR optimal cu patru coeficienţi şi EPM minimă cores-
punzătoare.
(c) Determinaţi filtrul FIR noncauzal optimal cu trei coeficienţi definit prin
y  n  w 1u  n  1  w0u n  w1u n  1
 5
Capitolul

5 Predicţia lineară
redicţia lineară joacă un rol major în multe domenii teoretice şi practice ale prelucrării

P semnalelor. Noţiunea de predicţie include operaţiunile prin care se estimează sau se

prezice valoarea u  n a unui semnal la momentul de timp n  n0 , pe baza valorilor
altor eşantioane din acelaşi semnal (Manolakis, ş.a. 2005). Predicţia lineară joacă un rol
central în modelarea semnalelor şi implementarea unor algoritmi de calcul eficienţi. Deşi
predicţia lineară reprezintă un subiect teoretic major, importanţa sa în prelucrarea
semnalelor derivă, în mai mare măsură, din aplicaţiile practice pe care le are în domeniul
transmisiei şi compresiei informaţiei.
Dintr-un alt punct de vedere, predicţia lineară este un caz particular al filtrării optimale
Wiener, fiind cazul în care semnalele u  n şi d  n sunt identice dar decalate în timp
(Michaut 1992).

5.1 Predicţia lineară înainte (directă)

5.1.1 Filtrul de predicţie înainte
Predictorul linear înainte (Figura 5.1) constă dintr-un filtru transversal linear cu M
coeficienţi w f ,1 , w f , 2 , , w f , M şi intrările u  n  1 , u  n  2, , u  n  M  . Presupunem că
aceste semnale de intrare reprezintă un proces aleator staţionar în sens larg de medie nulă,
iar coeficienţii filtrului sunt optimizaţi în conformitate cu teoria filtrării optimale Wiener.

Figura 5.1 Filtrul de predicţie lineară înainte cu un pas.

116 PREDICŢIA LINEARĂ - 5

Filtrul realizează o predicţie lineară a valorii curente a semnalului de la intrare. Notând prin
Un1 spaţiul M-dimensional al eşantioanelor de intrare, valoarea prezisă uˆ  n Un 1  este
definită prin:
M
uˆ  n Un 1    wf ,k  u  n  k   wf u  n  1 (5.1)
k 1

unde: u  n  1  u  n  1 u  n  M 

T T
şi w f   w f ,1 w f , M  . Răspunsul
dorit d  n este eşantionul curent (de la momentul n ) al semnalului de intrare:
d  n  u  n (5.2)
Eroarea de predicţie înainte, f M  n este egală cu diferenţa dintre u  n şi valoarea sa
prescrisă uˆ  n Un 1  :

f M  n  u  n  uˆ n Un1  (5.3)

Indicele M din f M  n reprezintă ordinul predictorului, definit ca număr de elemente de
întârziere unitară necesare pentru a memora setul de eşantioane utilizate în realizarea
predicţiei.
Vom nota prin PM valoarea minimă a mediei pătratice a erorii de predicţie înainte:

PM  E  f M  n 
2
(5.4)
 
Deoarece se presupune că semnalul de intrare este de medie nulă, eroarea de predicţie
înainte f M  n va fi de asemenea medie nulă. În aceste circumstanţe, PM este egală cu
varianţa erorii înainte. El poate fi privit ca puterea erorii de predicţie, în condiţiile în care
f M  n este o tensiune aplicată pe o rezistenţă de 1Ω.
În vederea obţinerii vectorului optimal w f , rezolvarea ecuaţiilor Wiener-Hopf necesită
determinarea a doua mărimi:
1. Matricea de corelaţie a procesului de intrare u[n  1] :
R M  E u  n  1  u H  n -1
 r  0 r 1 r  M  1 
  
r 1 r  0 r  M  2  (5.5)

 
  
 r  M  1 r   M  2 r  0 
R M are aceiaşi expresie ca şi în cazul filtrării Wiener pentru că matricea unui
proces staţionar rămâne invariantă la deplasarea în timp a semnalului:
u  n  u  n  1 .
 5.1 Predicţia lineară înainte (directă) 117

2. Vectorul de intercorelaţie dintre intrarea u  n  1 şi răspunsul dorit u  n :

 r  1   r  1 
   
 r  2   r   2 
r  E u  n  1 u  n    (5.6)
   
    
 r   M   r  M 
În sfârşit pentru a evalua PM este necesară o a treia mărime,  u2 , varianţa lui u  n :
3. Varianţa lui u  n este egală cu r  0 , întrucât semnalul este de medie nulă.
În consecinţă adaptarea ecuaţiilor Wiener-Hopf la problema predicţiei lineare directe
este:
RM w f  r (5.7)
Similar, din (4.40) şi (5.6), puterea erorii de predicţie înainte se calculează cu:
PM   u2  r H w f  r 0  r H w f (5.8)
Din ultimele două ecuaţii şi din (5.6), rezultă că vectorul de dimensiune M 1 al coefi-
cienţilor predictorului înainte şi puterea erorii de predicţie sunt determinate numai de setul
de M  1 valori ale funcţiei de autocorelaţie a procesului de intrare pentru întârzierile
0,1, , M .

5.1.2 Filtrul erorii de predicţie înainte

Eroarea de predicţie înainte f M  n , definită prin relaţia (5.3) se poate dezvolta în
expresia:
M
f M  n  u  n   wf ,k u  n  k  (5.9)
k 1

Vom nota prin aM ,k , k  0,1, M coeficienţii unei noi structuri de filtrare transversală. Ei
sunt legaţi de coeficienţii predictorului înainte prin relaţia:
1, k 0
aM ,k   (5.10)
 w f ,k , k  1, 2, , M
În aceste condiţii, cei doi termeni din membrul drept al relaţiei (5.9) pot fi combinaţi într-o
unică sumă:
M
f M  n   aM ,k u  n  k  (5.11)
k 0
118 PREDICŢIA LINEARĂ - 5

Figura 5.2 Filtrul erorii de predicţie înainte.

Această relaţie intrare-ieşire este reprezentată de filtrul transversal din Figura 5.2, care se
numeşte filtrul erorii de predicţie înainte. După cum îi spune şi numele şi după cum rezultă
din relaţia (5.11), filtrul furnizează la ieşire semnalul de eroare de predicţie înainte f M  n .
Relaţia dintre filtrul de eroare de predicţie înainte şi filtrul predictor înainte este ilustrată
în Figura 5.3. De remarcat că lungimea filtrului erorii de predicţie este mai mare decât
lungimea filtrului predictor cu o unitate. Totuşi ambele filtre au acelaşi ordin M , pentru că,
conţin M elemente de întârziere.

5.1.3 Relaţia dintre predicţia lineară şi modelarea

autoregresivă
Este interesant să reluăm relaţiile (5.7) şi (5.8) pentru coeficienţii filtrului erorii de predicţie
înainte:
T
R M aM ,1 aM ,2 aM , M   r şi, (5.12)
M
PM  r 0  r H  aM ,1 aM , M  sau PM   aM ,k r  k 
T
aM ,2 (5.13)
k 0

Dacă avem curiozitatea să le comparăm cu ecuaţiile Yule-Walker din Capitolul 3

(3.173) şi (3.174) care definesc modelul autoregresiv (AR) al unui proces aleator staţionar,
vom constata perfecta lor identitate, atât pentru ecuaţia ce defineşte coeficienţii filtrului
generator al procesului AR cât şi pentru formula varianţei zgomotului ce constituie excitaţia
aplicată la intrarea filtrului AR. De fapt, dacă la intrarea filtrului erorii de predicţie înainte se
aplică un proces staţionar AR de ordinul M, printr-o predicţie înainte de acelaşi ordin opti-
mizată în sensul mediei pătratice, putem stabili valoarea parametrilor ce definesc procesul

Figura 5.3 Relaţia dintre filtrul de eroare de predicţie înainte

şi filtrul predictor înainte.
 5.1 Predicţia lineară înainte (directă) 119

aleator analizat. Chiar dacă procesul nu este autoregresiv, totuşi analiza prin predicţie lineară
poate furniza o aproximare a procesului (Haykin 1996).
Din cele discutate anterior mai rezultă observaţie importantă, care porneşte de la ideea
evidentă că filtrul generator AR şi filtrul erorii de predicţie fac unul în raport cu celălalt ope-
raţii inverse. Concluzia logică care urmează acestei observaţii este că, în condiţiile în care la
intrarea filtrului de predicţie înainte se aplică un proces staţionar iar lungimea acestuia, M,
este suficient de mare, semnalul de ieşire tinde către zgomot alb, identic cu semnalul de la
intrarea filtrului AR. Prin urmare, în condiţiile specificate, eşantioanele erorii de predicţie
înainte tind să devină independente statistic unul de celălalt. Se spune că filtrul erorii de
predicţie înainte are rolul de „a albi” procesul staţionar aplicat la intrarea sa (Bellanger
1989, Michaut 1992).

5.1.4 Ecuaţiile Wiener-Hopf extinse pentru predicţia

înainte
Ecuaţiile Wiener-Hopf (5.7) împreună cu cele ale puterii erorii de predicţie înainte (5.8), pot
fi combinate într-o singură relaţie matricială:
 r 0 r H   1   PM 
    (5.14)
r R M   w f  0M 
unde 0 M este vectorul nul de dimensiune M 1 . În membrul stâng al relaţiei (5.14) poate fi
identificată expresia matricii de corelaţie extinse R M 1 de dimensiune  M  1   M  1 .
Această identificare se bazează pe Proprietatea 5 a matricilor de corelaţie introdusă în secţiu-
nea 3.5 a lucrării. R M 1 este matricea de corelaţie a eşantioanelor u  n , u  n  1, ,
u  n  M  de la intrarea filtrului erorii de predicţie din Figura 5.2. Mai mult, vectorul de
dimensiune  M  1 1 din membrul stâng este vectorul coeficienţilor filtrului erorii de
predicţie înainte (vezi relaţia (5.10)):
 1 
aM    (5.15)
 w f 
Prin urmare relaţia (5.14) se poate exprima sub forma:
P 
R M 1a M   M  (5.16)
0M 
M
P , i  0
sau a r l  i    M (5.17)
i  1,2, , M
M ,l
l 0 0,
Ecuaţiile (5.14), (5.16) şi (5.17) poartă numele de ecuaţiile Wiener-Hopf extinse ale
filtrului erorii de predicţie de ordinul M .
120 PREDICŢIA LINEARĂ - 5

Exemplul 5.1: Vom calcula în conformitate cu relaţia (5.14), soluţia ecuaţiei

Wiener-Hopf extinse pentru filtrul erorii de predicţie înainte de ordinul M  1 . De
remarcat rezolvarea se face doar cu valorile r  0 şi r 1
 r  0 r 1   a1,0   P1 
      
 r 1 r 0  a1,1  0 
r  det  R 2   r 2 0  r 1
2
unde:
De asemenea, prin definiţie: a1,0  1 . Prin urmare:
r r  1
P1  ; a1,1  
r  0 r  0
Exemplul 5.2: Să se analizeze realizarea unui predictor de ordinul 2 pentru
procesul aleator autorecursiv AR(1) u  n generat în Figura 5.4. Procesul
generator v  n este un zgomot alb cu valoare medie nulă şi varianţă  v2 . De
asemenea,   1,   .
Pentru a scrie ecuaţiile Wiener-Hopf este necesară determinarea funcţiei de
autocorelaţie a semnalului de intrare r  k  . În acest scop, se porneşte de la
ecuaţia cu diferenţe finite ce caracterizează procesul AR:
u  n   u  n  1  v  n
Multiplicăm ecuaţia cu u  n  l  şi aplicăm operatorul de mediere statistică
r l    r l  1  E v  nu  n  l 
Cu excepţia întârzierii l  0 , membrul drept al ultimei ecuaţii este nul, întrucât
semnalul generator v  n este necorelat cu eşantioane anterioare u  n  l  . Se
scrie
r 0   r 1   v2 , l  0
r 1   r 0  0, l  0
Funcţia de autocorelaţie este

Figura 5.4 Filtrul de predicţie înainte pentru procesul autoregresiv de

ordinul 1 u  n .
 5.2 Predicţia lineară înapoi (inversă) 121

 n  v2
r  n  , n
1 2
Coeficienţii optimi ai filtrului predictor de ordinul 2 sunt soluţiile ecuaţiei
matriciale:
 1    wo 0      wo 0   
 1   w    2    w    0 
   o1     o1   
Prin urmare, ieşirea filtrului predictor este
uˆ n Un1   y  n   u  n  1

Predictorul este, de fapt, de ordinul 1, eşantionul u  n  2 nefiind utilizat, iar

coeficientul filtrului este egal cu parametrul procesului AR de intrare (vezi
paragraful 5.1.3). În sfârşit, eroarea medie pătratică este egală cu varianţa
zgomotului alb ce generează procesul de la intrare:
 
P2   x2  p H w o  r 0   r 1 r  2     v2
0

5.2 Predicţia lineară înapoi (inversă)

5.2.1 Filtrul de predicţie înapoi
Asupra seriei temporale u  n , u  n  1 , , u n  M  se poate acţiona şi în direcţie inversă
în operaţia de predicţie, şi anume pe baza eşantioanelor u  n , u  n  1, , u  n  M  1 , se
face predicţia lui u  n  M  . Notând prin Un spaţiul M -dimensional subîntins de u  n ,
u  n  1, , u  n  M  1 , predicţia eşantionului u  n  M  se face prin:
M
uˆ  n  M Un    wb,k u  n  k  1 (5.18)
k 1

unde wb,1 , wb, 2 , , wb, M sunt coeficienţii filtrului de predicţie înapoi reprezentat în Figura
5.5.
Coeficienţii filtrului se presupun a fi optimizaţi în conformitate cu teoria filtrării Wiener.
Astfel, răspunsul dorit este acum:
d  n  u  n  M  (5.19)
iar eroarea de predicţie înapoi are expresia:
bM  n  u  n  M   uˆ n  M Un  (5.20)

Şi în acest caz indicele M din bM  n semnifică ordinul predictorului, adică numărul de

elemente de întârziere utilizate.
122 PREDICŢIA LINEARĂ - 5

Figura 5.5 Filtrul predictor de eroare înapoi cu un pas

Prin PM este notată valoarea medie pătratică minimă a erorii de predicţie înapoi sau
puterea erorii de predicţie înapoi:
PM  E  bM  n 
2
(5.21)
 
Faptul că se utilizează o unică notaţie PM pentru puterea erorii de predicţie, atât înainte cât
şi înapoi, indică că aceste două mărimi sunt egale, lucru care va fi demonstrat pe parcursul
acestui paragraf.
Următoarele mărimi sunt utilizate pentru rezolvarea ecuaţiilor Wiener-Hopf ale
predicţiei înapoi.
1. Matricea de corelaţie R M a vectorului semnalului de intrare u  n :
R M  E u  n u H  n (5.22)

unde: u  n  u  n u  n  1 u  n  M  1 . Procesul fiind staţionar,

T

definiţiile matricii R M prin (5.5) şi (5.22) conduc la rezultate identice.

2. Vectorul de intercorelaţie dintre intrarea u  n şi răspunsul dorit u  n  M  de
dimensiune M 1 :
r B  E u  n u  n  M   r  M  r  M  1 r 1
T
(5.23)

Indicele B din r B indică aranjarea în ordine inversă a elementelor vectorului.

3. Varianţa răspunsului dorit u  n  M  , egală cu r  0 . Şi în acest caz, procesul fiind
staţionar, valoarea este identică cu cea utilizată pentru predicţia înainte.
În condiţiile specificate anterior, ecuaţiile Wiener-Hopf ce rezolvă problema predicţiei
lineare înapoi pentru semnale staţionare de intrare sunt:
R M w b  r B (5.24)
Similar, se obţine expresia puterii erorii de predicţie înapoi:
PM  r 0  r BT wb   u2  r BT wb (5.25)
În Tabelul 5.1 (Haykin 1996) sunt recapitulate diversele mărimi relative la filtrul
Wiener, predictorul înainte şi respectiv predictorul înapoi.
 5.2 Predicţia lineară înapoi (inversă) 123
Tabelul 5.1 Principalele mărimi utilizate la definirea filtrului Wiener, a filtrului de
predicţie înainte şi a filtrului de predicţie înapoi.

5.2.2 Relaţia dintre filtrele de predicţie înainte şi

înapoi
Similitudinea care există între relaţiile Wiener-Hopf ale predictorului înainte (5.7) şi (5.8) şi
ale predictorului înapoi (5.24) şi (5.25) ne determină să stabilim echivalenţe între cele două
tipuri de predictoare. În acest scop, introducem matricea de schimb notată J care inversează
ordinea elementelor unui vector:
0 0 1
 
J , J H J  JJ H  I (5.26)
0 1 0
 
1 0 0
În aceste condiţii, utilizăm matricea J şi rescriem vectorul de intercorelaţie r B utilizat în
cazul predicţiei inverse, astfel:
r B  E u  n u  n  M   Jr (5.27)
Prin urmare, ecuaţiile Wiener-Hopf pentru predicţia înapoi (5.24) şi (5.25) devin
R M wb  Jr (5.28)
şi PM  r 0  r BT wb  r 0  rT Jwb (5.29)
Pentru echivalarea celor două tipuri de predicţie, începem prin a conjuga complex
ecuaţia Wiener-Hopf a predictorului înainte (5.7):
RM wf  r (5.30)
Aplicăm în continuare matricea de schimb relaţiei (5.30)
JRM wf  Jr (5.31)
Dar R M este o matrice Toeplitz simetrică (vezi Capitolul 3), şi are proprietatea
RJ  JR (5.32)
Aplicăm ecuaţia (5.32) relaţiei (5.31) şi obţinem:
124 PREDICŢIA LINEARĂ - 5

R M Jwf  Jr (5.33)

Comparând ultima ecuaţie cu (5.28), avem
wb  Jwf (5.34)
sau, cu alte cuvinte:
Un predictor înapoi poate fi obţinut dintr-un predictor înainte prin inversarea
ordinii coeficienţilor şi conjugarea lor complexă.
Pentru a demonstra egalitatea puterii erorilor de predicţie înainte şi înapoi, se conjugă
complex relaţia (5.29) şi se are în vedere că atât PM cât şi r  0 sunt mărimi reale, nefiind
afectate de această operaţie. În sfârşit, din utilizarea relaţiei de legătură (5.34) rezultă că
puterile erorilor de predicţie înainte şi înapoi sunt egale.
Aceste proprietăţi remarcabile de simetrie a celor două tipuri de predictoare optimale se
manifestă doar în cazul proceselor staţionare dar dispare pentru procese nestaţionare
(Manolakis, ş.a. 2005). De asemenea, simetria încetează să se manifeste dacă se aplică un alt
criteriu de minimizare în locul celui al EPM minime sau dacă procesul prezis este
negaussian (Weiss 1975).

5.2.3 Filtrul erorii de predicţie înapoi

Eroarea de predicţie înapoi bM  n definită prin ecuaţia (5.20) se dezvoltă conform cu (5.18)
astfel:
M
bM  n  u  n  M    wb,k u  n  k  1 (5.35)
k 1

Coeficienţii filtrului erorii de predicţie înapoi se definesc în raport cu cei corespunzători ai

predictorului înapoi după cum urmează:
 w , k  0,1, , M 1
cM , k   b, k 1 (5.36)
1, kM
În consecinţă ecuaţia (5.35) se rescrie (vezi Figura 5.6) astfel:
M
bM  n   cM ,k u  n  k  (5.37)
k 0

Ecuaţia (5.34) exprimă relaţia dintre vectorii coeficienţilor filtrului predictor înainte şi
înapoi. Expresia scalară a relaţiei este:
wb, M k 1  wf ,k , k  1,2, ,M

sau echivalent: wb,k  wf , M k 1 , k  1,2, ,M (5.38)

Înlocuind prin urmare (5.38) în (5.36) se obţine:
 w , k  0,1, , M 1
cM , k   f , M  k (5.39)
1, kM
 5.2 Predicţia lineară înapoi (inversă) 125

Figura 5.7 Figura 5.6 erorii

Filtrul de erorii
Filtrul predicţie înapoi definit
de predicţie înapoi. pe baza
coeficienţilor filtrului erorii de predicţie înainte.
Astfel, utilizând relaţiile între coeficienţii filtrului erorii de predicţie înainte şi ai
predictorului înainte date în (5.10) se poate scrie:
cM ,k  aM , M k , k  0,1, ,M (5.40)
Drept urmare, în cazul filtrului erorii de predicţie înapoi, relaţia intrare-ieşire se poate
exprima sub forma:
M
bM  n   aM , M  k u  n  k  (5.41)
k 0

Relaţia (5.41) este transpusă în Figura 5.7. Comparând această reprezentare cu cea din
Figura 5.2 pentru filtrul erorii de predicţie înainte, devine evident faptul că cele două filtre se
obţin unul din celălalt prin inversarea ordinii coeficienţilor şi conjugare complexă.

5.2.4 Ecuaţiile Wiener-Hopf extinse pentru predicţia

înapoi
Ecuaţiile Wiener-Hopf ale predictorului înapoi (5.24) şi expresia puterii erorii de predicţie
înapoi (5.25) pot fi combinate într-o singură relaţie, după cum urmează:
R M r B   w b  0M 
 BT  
r  0  1   PM 
(5.42)
r
unde 0 M este vectorul nul de dimensiune M 1 . În membrul stâng se remarcă matricea de
corelaţie extinsă R M 1 de dimensiune  M  1   M  1 , a eşantioanelor de intrare u  n ,
u  n  1 , , u  n  M  în filtrul erorii de predicţie din Figura 5.6. Mai mult, se observă că:
 w b  B
 1   cM  aM
 
Relaţia (5.42) se scrie atunci:
0 
R M 1a MB   M 
 PM 
126 PREDICŢIA LINEARĂ - 5

M
0, i  0,1, , M  1
sau: a 
r l  i   
M , M i (5.43)
i 0  PM , i  M
Ecuaţiile (5.42) şi (5.43) poartă numele de ecuaţii Wiener-Hopf extinse pentru predicţia
înapoi de ordinul M . Ecuaţia (5.42) este echivalentă ecuaţiei (5.14) pentru predicţia înainte.
Având în vedere că R M 1 este atât o matrice Toeplitz cât şi hermitică, ultima ecuaţie
întăreşte relaţia stabilită dintre coeficienţii filtrului erorii de predicţie înapoi şi ai filtrului
erorii de predicţie înainte.

5.3 Predicţia lineară generalizată

Ca şi în cazurile studiate anterior, se porneşte de la setul de valori ale procesului stochastic
u  n , u  n  1 , , u n  M  . Diferenţa în situaţia pe care o tratăm constă în faptul că de
această dată se doreşte a fi estimată o valoare oarecare din set, să spunem u  n  i  , printr-o
combinaţie lineară a celorlalte eşantioane. Estimarea rezultată û  n  i  şi eroarea de estima-
re corespunzătoare eMi   n sunt:
M
uˆ  n  i   w u n  k 

g ,k (5.44)
k 0
k i

M
şi eMi   n u  n  i   uˆ  n  i    g Mi ,k u n  k  cu g Mi ,i 1 (5.45)
k 0

Coeficienţii wg ,k care apar în ecuaţia (5.44) sunt elementele vectorului ponderilor filtrului
T
de predicţie generalizate: w g   wg ,0 wg ,1 wg , M  . Ecuaţia (5.45) defineşte filtrul
erorii de predicţie generalizate de ordinul M, elementele g Mi ,k constituind coeficienţii
acestui filtru: gMi    g M ,0 g M ,1
T
g M , M  . Filtrul erorii de predicţie generalizate este
reprezentat în Figura 5.8. Relaţiile dintre coeficienţii celor două filtre sunt de aceiaşi formă
cu cele scrise în paragrafele 5.1.2 şi 5.2.3 pentru predicţia înainte şi înapoi:

Figura 5.8 Filtrul erorii de predicţie generalizate.

 5.3 Predicţia lineară generalizată 127

1, k i
g Mi ,k   (5.46)
 wg ,k , k  1, 2, , M , k  i
O imagine sugestivă a similitudinilor dar şi a diferenţelor care se stabilesc între predicţia
generalizată, predicţia înainte şi predicţia înapoi este prezentată în Figura 5.9 (Manolakis,
ş.a. 2005). Se remarcă că, în toate cele trei cazuri, predicţia este realizată pe baza aceluiaşi
set de eşantioane, diferit fiind doar termenul seriei temporale care se estimează.
Pentru a obţine ecuaţiile Wiener-Hopf care definesc valoarea minimă a EPM în cazul
filtrului de predicţie generalizată, se partiţionează ecuaţia (5.45) astfel:
i 1 M
eMi   n   g M ,k u  n  k   u  n  i   g 
M ,k u n  k 
k 0 k  i 1 (5.47)
g M ,1 u1  n  u  n  i   g M ,2 u 2  n  g M u  n 
i  H i  H i  H

unde partiţiile vectorului coeficienţilor şi ale vectorului de date¸ în jurul componentei i,

rezultă din context, iar u  n  u  n u n  i u  n  M  . Să observăm că în
T

acest caz, componentele operaţiei de optimizare sunt:

 u  n 
Răspunsul dorit  u  n  i  Vectorul de date   1 
u 2  n
Utilizând relaţia (5.7), prima ecuaţie Wiener-Hopf se scrie astfel:
i 
R11   g M ,1 
 R11  u1  n 
 RT   i       (5.48)
R 22  g M ,2 
 12   u 2  n
Explicaţia semnului minus din membrul drept al lui (5.48) este datorat utilizării
coeficienţilor filtrului de eroare de predicţie din (5.46) în loc de coeficienţii filtrului de
predicţie. De asemenea, pentru j, k  1,2 , s-a scris:
R jk E u j  n ukH  n şi rj E u j  nu  n  i  (5.49)

Pentru a scrie puterea erorii de predicţie generalizate PM i  se porneşte de la (5.8), şi se

ţine cont de schimbarea de semn din (5.46). Rezultă
PMi   r 0  r1H gMi ,1  r2H gMi ,2 (5.50)
Ecuaţia Wiener-Hopf extinsă a predicţiei generalizate se obţine prin combinarea într-o
singură ecuaţie a relatiilor (5.48) şi (5.50). În acest scop, este util de notat că matricea de
corelaţie R M 1 a vectorului extins u  n poate fi partiţionată în raport cu linia i şi coloana i
astfel:
 R11 r1 R12 
R M 1  r1H r  0 r2H  (5.51)
 R12
H
r2 R 22 
128 PREDICŢIA LINEARĂ - 5

Figura 5.9 Estimări, eşantioane şi erori utilizate în predicţia

generalizată, predicţia înainte şi predicţia înapoi.

Relaţia se obţine, combinând (5.48), (5.50) şi (5.51) într-o singură ecuaţie matricială
 0 
 
R g   PM i    linia i
i 
M 1 M (5.52)
 0 
 
Aceasta este ecuaţia Wiener-Hopf extinsă a predicţiei generalizate.
Dacă M  2L şi i  L , atunci se obţine aşa-numitul filtru de netezire simetric g M .
Acesta produce o estimare a eşantionului median ce utilizează L eşantioane anterioare şi L
eşantioane posterioare.

5.4 Algoritmul Levinson-Durbin

Este o metodă directă de calcul al coeficienţilor filtrelor erorii de predicţie şi al puterii erorii
de predicţie prin rezolvarea ecuaţiilor Wiener-Hopf extinse. Metoda este recursivă şi se
bazează pe structura Toeplitz a matricii de corelaţie. În principiu, procedura utilizează solu-
ţia ecuaţiilor Wiener-Hopf extinse pentru un filtru de eroare de predicţie de ordinul m  1
pentru a calcula soluţia corespunzătoare pentru filtrul cu un ordin mai mare (Bellanger
2001). Principala calitate a algoritmului Levinson-Durbin este eficienţa în calcule: se reali-
 5.4 Algoritmul Levinson-Durbin 129

zează economii în ceea ce priveşte numărul operaţiilor aritmetice şi capacitatea de memorie

utilizată în raport cu metodele standard (Manolakis, ş.a. 2005).
Numele pe care îl poartă algoritmul a fost dat în semn de recunoaştere a faptului că a
fost introdus prima oară de Levinson în 1947, fiind reformulat independent mai târziu de
Durbin în 1960 (Haykin 1996).

5.4.1 Formularea algoritmului

Fie vectorul a m de dimensiune  m  1 1 al coeficienţilor filtrului erorii de predicţie
înainte de ordinul m . Coeficienţii filtrului erorii de predicţie înapoi se obţin prin inversarea
ordinii elementelor vectorului urmată de operaţia de conjugare complexă. Efectul combinat
al acestor două operaţiuni este notat prin a MB . Vectorii de dimensiune m 1 ai filtrelor de
eroare de ordinul m  1 sunt notaţi prin a m1 respectiv a mB1 . Operaţia de recursie
Levinson-Durbin se face după ordinul filtrului şi permite, ca pe baza coeficienţilor filtrulului
erorii de predicţie de ordinul m-1, să se calculeze coeficienţii filtrului de ordinul m. Ea se
formulează în două moduri echivalente:
1. Coeficienţii filtrului de eroare de predicţie înainte sunt calculaţi recursiv cu relaţia:
a  0 
am   m 1    m  B  (5.53)
0  am 1 
unde  m este o constantă. Versiunea scalară a acestei operaţiuni este:
am,l  am1, l   m am 1, ml ; l  0,1, ,m (5.54)
unde am,l este coeficientul l al filtrului erorii de predicţie înainte de ordinul m şi
similar pentru am 1,l care este coeficientul l al filtrului de ordinul m  1 . Elementul
am 1,ml este coeficientul l al filtrului erorii de predicţie înapoi de ordinul m  1 . De
remarcat că am1,0  1 iar am1,m  0 .
2. Coeficienţii filtrului de eroare de predicţie înapoi sunt calculaţi recursiv cu ecuaţia:
0  a 
amB   B    m  m 1  (5.55)
am 1  0 
versiunea scalară fiind:
am ,ml  am 1,ml   m am1,l ; l  0,1, ,m (5.56)
unde am , m l este coeficientul l al filtrului de eroare de predicţie înapoi de ordinul
m , celelalte elemente fiind definite anterior.
Pentru a stabili condiţiile pe care constanta  m trebuie să le satisfacă, se parcurg cele
patru etape care urmează:
130 PREDICŢIA LINEARĂ - 5

1. Se înmulţeşte ecuaţia (5.53) cu R m1 , matricea de corelaţie de dimensiune

a intrărilor u  n , u  n  1, , u n  m . Pentru membrul stâng al
 m  1   m  1
ecuaţiei (5.53) se obţine, în conformitate cu (5.14):
P 
R m 1a m   m  (5.57)
 0m 
Indicii matricii R m1 şi ai vectorului 0m se referă la dimensiunile lor, în timp ce
indicii vectorului a m şi ai scalarului Pm (puterea erorii de predicţie) se referă la
ordinul predicţiei.
2. Pentru primul termen din membrul drept al ecuaţiei (5.53) se utilizează partiţia
matricii de corelaţie R m1 de forma:
R rmB 
R m 1   BTm 
rm r  0 

unde rmB este vectorul de intercorelaţie a intrărilor u  n , u  n  1 , , u  n  m  1

cu u  n  m . Se scrie:

a   R rmB  am1   R mam1 

R m1  m1    BTm  
r 0 0  rmBT am-1 
(5.58)
0  rm
Setul de ecuaţii extinse Wiener-Hopf pentru filtrul erorii de predicţie înainte de
ordinul m  1 este:
P 
R m a m 1   m 1  (5.59)
0m 1 
unde Pm 1 este puterea erorii de predicţie a acestui filtru. Se defineşte scalarul:
m 1
 m1  rmBT am1   r l  m am1,l (5.60)
l 0

Înlocuind ecuaţiile (5.59) şi (5.60) în ecuaţia (5.58), se obţine:

 Pm 1 
a m 1   
R m 1    0m 1  (5.61)
 0   
 m 1 
3. Pentru cel de-al doilea termen din membrul drept al ecuaţiei (5.53) se utilizează o
altă partiţie a lui R m1 :
 r  0 rmH 
R m 1   
rm Rm 
 5.4 Algoritmul Levinson-Durbin 131

unde rm este intercorelaţia vectorului u  n  1 cu u  n . Se poate scrie prin urmare:

0   r 0 rmH  0  rmH amB1 

R m1  B      B     (5.62)
am1  rm R m  am1   R ma mB1 
Scalarul rmH amB1 este egal cu:
m m 1
rmH amB1   r   k  am 1,mk   r  l  m am 1,l  m 1 (5.63)
k 1 l 0

De asemenea, setul de ecuaţii Wiener-Hopf extinse pentru filtrul erorii de predicţie

înapoi de ordinul m  1 este:
0 
R m a mB1   m 1  (5.64)
 Pm 1 
Înlocuind ecuaţiile (5.63) şi (5.64) în (5.62), se scrie:
 m 1 
0   
R m 1  B   0m 1  (5.65)
a m 1   P 
 m 1 
4. Însumând rezultatele obţinute la paşii 1, 2, 3 şi anume, ecuaţiile (5.57), (5.61) şi
(5.65) se ajunge la observaţia că multiplicând ambii termeni ai ecuaţiei (5.53) cu
matricea R m1 se obţine:

 Pm 1   m 1 
 Pm     
0   0m 1    m 0m 1  (5.66)
 m     Pm 1 
 M 1   
În concluzie, dacă relaţia de recursie (5.53) este corectă, atunci ecuaţia (5.66) este un
rezultat direct al acestei recursii. Invers, dacă condiţiile descrise de ecuaţia (5.66) se aplică,
vectorul coeficienţilor filtrului erorii de predicţie înainte, poate fi calculat ca în ecuaţia
(5.53).
Din ecuaţia (5.66) se pot trage două concluzii importante:
1. Din prima linie a vectorilor ecuaţiei (5.66) rezultă:
Pm  Pm1   m m1 (5.67)
2. Din ultima linie a vectorilor din ecuaţia (5.66) se scrie:
0  m1   m Pm1 (5.68)
Rezultă imediat valoarea constantei  m :
 m 1
m   (5.69)
Pm 1
132 PREDICŢIA LINEARĂ - 5

unde  m1 este definită prin ecuaţia (5.60). Mai mult  m1 se poate elimina între ecuaţiile
(5.67) şi (5.68), furnizând relaţia de calcul prin recursie al puterii erorii de predicţie:


Pm  Pm1 1   m
2
 (5.70)

Pe măsură ce ordinul m al filtrului erorii de predicţie creşte, valoarea corespunzătoare a

puterii erorii de predicţie descreşte sau rămâne aceeaşi. Bineînţeles, Pm nu poate fi negativă
şi astfel întotdeauna:
0  Pm  Pm1 , m  1 (5.71)
În cazul elementar al filtrului erorii de predicţie de ordinul 0:
P0  r 0
unde r  0 este funcţia de autocorelaţie a intrării pentru întârziere nulă. Se poate acum,
aplicând repetat ecuaţia (5.70) şi pornind de la relaţia de mai sus, determina puterea erorii de
predicţie pentru ordinul M:

 
M
PM  P0  1   m
2
(5.72)
m 1

5.4.2 Interpretări ale parametrilor  m şi  m1

Parametrii  m , 1  m  M , ce rezultă din aplicarea recursiei Levinson-Durbin unui filtru al
erorii de predicţie de ordinul final M sunt denumiţi coeficienţi de reflexie. Utilizarea
termenului vine de la analogia ecuaţiei (5.70) cu teoria liniilor de transmisie unde  m poate
fi considerat coeficient de reflexie la graniţa dintre două secţiuni cu impedanţe caracteristice
diferite. De observat condiţia asupra coeficientului de reflexie care rezultă din (5.71):
 m  1, m (5.73)
Din ecuaţia (5.54) se observă că pentru un filtru al erorii de predicţie de ordinul m ,
coeficientul  m este egal cu ultimul coeficient al filtrului, am, m :
 m  am, m (5.74)
În ceea ce priveşte parametrul  m1 , el poate fi interpretat ca intercorelaţia dintre
eroarea de predicţie înainte f m1  n şi eroarea de predicţie înapoi întârziată bm1  n  1 .
Pornind de la definiţii şi utilizând principiul ortogonalităţii, se poate scrie (vezi Exemplul
5.3):
m1  E bm1  n  1 f m1  n (5.75)

unde f m1  n se produce la ieşirea filtrului erorii de predicţie înainte de ordinul m  1 ca

răspuns la secvenţa de intrare u  n , u  n  1 , , u  n  m  1 iar bm1  n  1 se produce la
ieşirea filtrului erorii de predicţie înapoi ca răspuns la secvenţa u  n  1 , , u  n  m .
 5.4 Algoritmul Levinson-Durbin 133

De subliniat că:
f0  n  b0  n  u  n
unde u  n este intrarea filtrului erorii de predicţie la momentul n . Prin urmare, din ecuaţia
(5.75) se poate stabili că  0 are valoarea:
0  E b0  n  1 f0  n  E u  n  1u  n  r  1
Cunoscând  0 şi P0 , se poate calcula, folosind relaţiile de recurenţă (5.69) şi (5.70),
coeficientul 1 :
r  0
1  
0
P0

r 1
; P1  P0 1  12

şi aşa mai departe până la ordinul M . Coeficienţii  m1 se calculează cu formula de
definiţie (5.60) şi, utilizând relaţiile de recurenţă, se pot calcula succesiv Pm ,  m şî am
pornind de la m  0 .
Ecuaţiile (5.69) şi (5.70) se pot utiliza pentru a dezvolta o interpretare diferită a para-
metrului  m . În particular, întrucât Pm 1 poate fi văzut drept valoarea medie pătratică a ero-
rii de predicţie înainte f m1  n , se poate scrie

E bm 1  n  1 f m1  n 

m  (5.76)
E  f m 1  n  
2

 
Membrul drept al ecuaţiei (5.76), cu excepţia unui semn, poartă numele de coeficient de
corelaţie parţială (PARCOR), terminologie larg utilizată în literatura de specialitate.

5.4.3 Implementarea algoritmului

Tabelul 5.2 prezintă o implementare a algoritmului (Ciochină şi Negrescu 1999). În această
abordare, sunt utilizate succesiv ecuaţiile (5.69), (5.70), (5.74), (5.54) şi (5.60).
Dacă rezolvarea matricială a ecuaţiilor Wiener-Hopf necesită un număr de operaţii
matematice proporţional cu M 3 , în cazul algoritmului Levinson-Durbin, în pasul m sunt
efectuate:
 1 (o) împărţire,
 2m  1 înmulţiri,
 2m adunări.

  2m  2  M
M
Întregul algoritm necesită m1
2
 3M înmulţiri / împărţiri şi


M
m 1
2m  M 2  M adunări. Timpul total de calcul este proporţional cu M 2 .
134 PREDICŢIA LINEARĂ - 5
Tabelul 5.2 Implementarea algoritmului
Levinson-Durbin.

Exemplul 5.3: Să se demonstreze că  m1 este egală cu intercorelaţia dintre

eroarea de predicţie înapoi întârziată bm1  n  1 şi eroarea de predicţie înainte
f m1  n .
Soluţie: Este simplu de observat că:
E bm1  n  1 f m1  n  E u  n  m f m1 n
m 1
pentru că bm1  n  1  u  n  m   wb,k u  n  k  ,
k 1

iar, în conformitate cu principiul ortogonalităţii:

E u  n  k  f m1  n  0, k  0,1, ,n  m 1
De asemenea, eroare de predicţie înainte poate fi scrisă ca:
f m1  n  amH1u  n  uT  nam1  
f m-1 n  uH nam1
Prin urmare:
E u  n  m f m1  n  E u  n  m u H  n  am1
  r  m r  m  1 r  1 am1  rmBT am 1 q.e.d
Exemplul 5.4: Se dau coeficienţii a3,1 , a3,2 , a3,3 ai unui filtru al erorii de predicţie
de ordinul 3. Să se determine coeficienţii de reflexie corespunzători 1 ,  2 ,  3 .
 5.4 Algoritmul Levinson-Durbin 135

Este vorba de a stabili aşa-numitul algoritm Levinson-Durbin invers. În general, se

porneşte de la valorile coeficienţilor filtrului aM ,1 , aM ,2 , , aM , M şi se calculează coeficienţii
de reflexie 1 ,  2 , ,  M . Evident, aM ,0  1 . Pentru rezolvare, se combină ecuaţiile (5.54)
şi (5.56) ce reprezintă versiunile scalare ale recursiei Levinson-Durbin pentru filtrele de
eroare de predicţie înainte respectiv înapoi:
 am,k  1  m   am1,k 
 a      , k  0,1, ,m (5.77)
 m,m k   m 1   am1,m k 
unde ordinul este m  1,2, , M . Presupunând că  m  1 , soluţia pentru coeficientul
am1,k este:
am,k  am,m am ,m k
am 1,k  2
; k  0,1,, m (5.78)
1  am,m
unde s-a utilizat  m  am,m .
Procedura de calcul porneşte de la setul de coeficienţi aM ,k pentru care filtrul erorii de
predicţie are ordinul M . Se utilizează ecuaţia (5.78) recursiv pentru ordine descrescătoare
ale filtrului: m  M , M  1, ,2 . În final, se utilizează pentru a determina coeficienţii de
reflexie, relaţia:
 m  am,m , m  M , M  1, ,1
Soluţie:
a. Filtrul erorii de predicţie de ordinul 2 ( m  3 ):
 
a3,1  a3,3 a3,2 a3,2  a3,3 a3,1
a2,1  2
; a2,2  2
1  a3,3 1  a3,3
b. Filtrul erorii de predicţie de ordinul 1 ( m  2 ):
a2,1  a2,2 a21
a1,1  2
1  a2,2
c. Coeficienţii de reflexie sunt, prin urmare:
3  a3,3 ,  2  a2,2 , 1  a1,1
unde a3,3 este dat iar a2,2 şi a1,1 sunt calculaţi mai sus.
Exemplul 5.5: Să se calculeze prin algoritmul Levinson-Durbin coeficienţii de
reflexie ai unui predictor de ordinul 3, din valorile funcţiei de autocorelaţie:
r 0  1; r  1  0,75; r  2  0,5; r 3  0,25 . Ecuaţia Wiener-Hopf este:
136 PREDICŢIA LINEARĂ - 5

1 0,75 0,5   w f ,1  0,75 

0,75 1  
 0,75  w f ,2   0,5 
0,5 0,75 1   w f ,3  0, 25
Soluţie: Se aplică algoritmul Levinson-Durbin din Tabelul 5.2.
a. Iniţializare: P0  r 0  1; 0  r  1  0,75
b. Predictorul de ordinul I:

1   0   ; P1  P0 1  12  
3 7
P0 4 16
3
a1,0  1; a1,1  1  
4
1
1  a1,0 r  2  a1,1r  1  
16
c. Predictorul de ordinul II:
 1
 2   1  ; P2  P1 1   22  
3
P1 7 7
6 1
a2,0  1; a2,1  a1,1  k2 a1,1   ; a2,2   2 
7 7
1
 2  a2,0 r  3  a2,1r  2  a2,2 r  1  
14
d. Predictorul de ordinul III:
2 1
 ; P3  P2 1   32  
5
3  
P2 6 12
5 1
a3,0  1; a3,1  a2,1   3 a2,2  ; a3,2  a2,2   3 a2,1  0 ; a3,3   3 
6 6

5.5 Algoritmul Schür

Spre deosebire de algoritmul Levinson-Durbin, algoritmul Schür calculează doar coeficienţii
de reflexie  m ai filtrului erorii de predicţie, nu şi ponderile acestuia, am,k , cm,k . Prin urma-
re, este normal ca algoritmul Schür să ofere problemei de determinare a filtrului predictor o
soluţie mai eficientă (Ciochină şi Negrescu 1999, Manolakis, ş.a. 2005).
Definim secvenţa y f ,m i  obţinută prin convoluţia coeficienţilor filtrului erorii de
predicţie înainte de ordinul m ce are ponderile am ,k cu secvenţa de autocorelaţie r i  :
m
y f ,m i    am,k r i  k  (5.79)
k 0
 5.5 Algoritmul Schür 137

Pe de altă parte, ecuaţia Wiener-Hopf extinsă (5.17) a filtrului erorii de predicţie înainte se
poate scrie în formele
m

 a r  i  k    r i  ,
k 1
m,k i  1, 2, ,m (5.80)

 a r i  k   0,
k 0
m,k i  1, 2, ,m (5.81)

Comparând rezultatele din (5.79), (5.80) şi (5.81) se observă că:

y f ,m i   0, i  1, 2, ,m (5.82)
m
şi, de asemenea  a r i  k   0,
k 0
m,k i  1, 2, ,m (5.83)

În cazul filtrului erorii de predicţie înapoi de ordinul m având coeficienţii notaţi prin
cm, k , se defineşte similar secvenţa yb ,m i  :
m
yb,m i    cm,k r i  k  (5.84)
k 0

Pe de altă parte, după cum s-a stabilit în (5.40)

cm,k  am* ,mk
ceea ce are drept consecinţă faptul că:
yb,m i   y*f ,m  m  i  (5.85)

Ca în (5.82) şi în (5.83) rezultă proprietăţi echivalente pentru secvenţa yb ,m i 

yb,m i   0, i  0,1, , m 1 (5.86)
yb,m  m  Pm (5.87)
Facem în continuare apel la relaţiile de recurenţă (5.54) şi (5.56) pe care le rescriem
pentru simplificare, în cele ce urmează
am,k  am1, k   m cm1, k 1
cm,k   m* am1, k  cm1, k 1
Relaţii de recurenţă asemănătoare se pot scrie şi pentru secvenţele y f ,m i  şi yb ,m i  :
y f ,m i   y f ,m1 i    m yb,m1 i  1 (5.88)
yb,m i    m* y f ,m1 i   yb,m1 i  1 (5.89)
Pe de altă parte, condiţiile iniţiale pentru relaţiile de recurenţă (5.88) şi (5.89) sunt:
y f ,0 i   yb,0 i   r i  (5.90)
138 PREDICŢIA LINEARĂ - 5

În sfârşit, coeficienţii de reflexie  m pot fi calculaţi recursiv dacă se face apel pentru
momentul m la relaţia de recurenţă (5.88) şi la proprietatea (5.82)
y f ,m  m  y f ,m1 m   m yb,m1 m  1  0 (5.91)
y f , m1  m
Prin urmare: km   (5.92)
yb,m 1  m  1
Algoritmul Schür calculează recursiv coeficienţii de reflexie ai predictorului optim,
făcând apel la valorile funcţiei de autocorelaţie şi la relaţiile (5.90),(5.91), (5.92), (5.88) şi
(5.89). El este prezentat în Tabelul 5.3. Parcurgerea unui ciclu al algoritmului presupune
efectuarea următoarelor operaţiuni matematice (Ciochină şi Negrescu 1999):
 O împărţire pentru calculul lui  m ;
 M  m înmulţiri şi M  m adunări în primul ciclu după i ;
 M  m  1 înmulţiri şi M  m  1 adunări în al doilea ciclu după i .
Într-un ciclu sunt 2M  2m  2 înmulţiri/împărţiri şi 2m  2M  1 adunări, ceea ce face în
total M 2  M înmulţiri/împărţiri şi M 2 adunări.
Modalitatea de organizare practică a algoritmului este următoarea:
 Se iniţializează algoritmul. Se constituie „matricea generatoare”:

Tabelul 5.3 Implementarea algoritmului Schür.

 5.5 Algoritmul Schür 139

0 r 1 r  2 r  M 
G0    (5.93)
 r 0 r 1 r  2 r  M 
 Se deplasează spre dreapta cu o unitate, linia a doua a matricii G 0
0 r 1 r  2 r M  
G '0    (5.94)
0 r 0 r 1 r  M  1
Raportul cu semn schimbat al elementelor de pe coloana a doua stabileşte valoarea
coeficientului de reflexie 1 .
 Se constituie matricea
1 1 
K1   *  (5.95)
1 1 
 Se calculează
0 0 y f ,1  2 y f ,1  M 
G1  K1' G '0    (5.96)
0 yb,1 1 yb,1  2 yb,1  M  
unde s-a avut în vedere relaţiile de recurenţă şi faptul că y f ,1 1  0 .
 În continuare se repetă ultimele trei operaţii.
Exemplul 5.6: Să se calculeze prin algoritmul Schür coeficienţii de reflexie ai
unui predictor de ordinul 3. Valorile funcţiei de autocorelaţie sunt: r 0  1;
r  1  0,75; r  2  0,5; r  3  0,25 .
Soluţie: Se constituie matricile G 0 şi G '0
0 0,75 0,5 0,25 0 0,75 0,5 0,25
G0    , G 0'  
1 0,75 0,5 0,25 0 1 0,75 0,5 
0,75 3  1 0,75
Rezultă: 1     , K1  
1 4  0,75 1 
Se reia calculul pentru m  1
0 0 1 16 1 8 0 0 1 16 1 8
G1  K1G 0'    , G1'   
0 7 16 3 8 5 16  0 0 7 16 3 8 
1 16  1 1 7
2    1 7 , K2   
7 16 1 7 1 
Pentru m  2
0 0 0 1 14 0 0 0 1 14
G 2  K 2G1'    , G '2   
0 0 3 7 5 14  0 0 0 3 7 
140 PREDICŢIA LINEARĂ - 5

1 14
3   1 6
37

5.6 Proprietăţile filtrelor erorii de predicţie

Proprietatea 1. Echivalenţa dintre funcţia de autocorelaţie şi coeficienţii
de reflexie. Există o corespondenţă strictă între valorile coeficienţilor de reflexie
ai unui filtru al erorii de predicţie şi valorile funcţiei de corelaţie, în sensul că
dacă se cunoaşte una dintre ele, cea de a doua poate fi determinată în mod unic
într-o manieră recursivă.
Valorile funcţiei de autocorelaţie sau transformata sa Fourier - densitatea spectrală de putere
- reprezintă o modalitate obişnuită de a reprezenta statistic un proces aleator staţionar în sens
larg. Afirmaţia din titlu se referă la faptul că setul de valori ale coeficienţilor de refle-
xie P0  r 0 , 1 ,  2 , ,  M ai unui filtru de eroare de predicţie de ordinul M determină în
mod unic setul corespunzător de valori ale funcţiei de autocorelaţie r 0 , r 1 , , r  M  şi
viceversa.
Pentru a demonstra această echivalenţă, vom începe prin a elimina  m1 între ecuaţiile
(5.60) şi (5.68). Se obţine:
m 1

a m 1, k r  k  m   m Pm 1 (5.97)
k 0

În (5.97) înlocuim r  m  r   m şi avem în vedere că am1,0  1 , ceea ce conduce la rela-

ţia de recursie
m 1
r  m   m* Pm1   am 1.k r  m  k  (5.98)
k 1

Prin urmare, dacă se dă setul de numere r 0 , 1 ,  2 , ,  M , prin utilizarea relaţiei (5.98)
împreună cu ecuaţiile de recursie Levinson-Durbin (5.54) şi (5.70) , se poate genera recursiv
setul de numere care le corespunde: r 0, r 1, , r  M  .
Vom presupune, în continuare, că este dat setul de valori ale funcţiei de autocorelaţie
r 1 , , r  M  . Atunci se poate calcula recursiv setul corespunzător de numere 1 ,  2 ,
,  M prin utilizarea relaţiei:
1 m1
M    am1,k r k  m
Pm1 k 0
(5.99)

Ultima relaţie se obţine prin rezolvarea ecuaţiei (5.97) pentru  m . În ecuaţia (5.99) se presu-
pune că Pm 1 este nenul. Dacă Pm 1 este nul, din (5.70) rezultă că  m1  1 , iar secvenţa
coeficienţilor de reflexie 1 ,  2 , ,  m1 este terminată.
 5.6 Proprietăţile filtrelor erorii de predicţie 141

Proprietatea 2. Legătura dintre funcţia de transfer a filtrului erorii de

predicţie şi coeficienţii de reflexie. Fiind dat coeficientul de reflexie  m şi funcţii-
le de transfer de ordinul m  1 ale filtrelor erorii de predicţie înainte şi înapoi,
funcţiile de transfer corespunzătoare de ordinul m ale filtrelor erorii de predicţie
sunt unic determinate.
Vom nota prin H f , m  z  , respectiv H b, m  z  funcţiile de transfer ale filtrelor erorii de
predicţie înainte şi înapoi de ordinul m . Acestea se obţin prin aplicarea transformatei Z
răspunsului la impuls al acestor filtre:
m m m
H f , m  z    am , k z  k , H b, m  z    cm , k z  k   am, mk z  k (5.100)
k 0 k 0 k 0

Pe baza recursiei Levinson-Durbin exprimată prin ecuaţiile (5.54) şi (5.56), coeficienţii

filtrului de ordinul m se pot exprima în funcţie de cei ai filtrelor de ordinul m  1 :
m m
H f , m  z    am 1, k z  k   m  am 1, m  k z  k
k 0 k 0
m -1 m 1
(5.101)
= a 
m -1, k z k
 z
 1
m a m 1, m 1 k z k

k 0 k 0

unde, în linia a doua s-a utilizat faptul că am1, m  0 . Secvenţa de numere am 1.k , k  0,1,
, m  1 defineşte răspunsul la impuls al unui filtru al erorii de predicţie înainte de ordinul
m  1 , iar secvenţa am1,m1k , k  0,1, , m  1 defineşte răspunsul la impuls al unui filtru al
erorii de predicţie înapoi de acelaşi ordin. Înlocuind funcţiile menţionate în (5.101), se scrie:
H f , m  z   H f , m1  z    m z 1Hb, m1  z  (5.102)
Similar, se scrie relaţia de recurenţă pentru filtrul erorii de predicţie înapoi de ordinul m :
Hb, m  z   z 1H f , m1  z    m Hb, m1  z  (5.103)

Proprietatea 3. Dacă procesul u  n este staţionar, filtrul erorii de predicţie

înainte este de fază minimă iar filtrul erorii de predicţie înapoi este de fază
maximă.
Un filtru de fază minimă are toate zerourile situate în interiorul cercului z  1 , iar filtrul de
fază maximă are toate zerourile în exteriorul cercului z  1 (vezi Capitolul 2). Având în
vedere definiţiile funcţiilor de transfer ale celor două filtre făcute în (5.100) şi proprietatea
(5.40), este simplu de arătat că între funcţiile de transfer ale celor două filtre se stabileşte
relaţia
1
H b, m ( z )  z  m H f , m    (5.104)
z 
În conformitate cu (5.104), zerourile filtrului erorii de predicţie înapoi sunt simetrice în
raport cu circumferinţa cercului de rază unitate cu zerourile filtrului erorii de predicţie
142 PREDICŢIA LINEARĂ - 5

înainte. Drept urmare, este suficient să se demonstreze prima parte a proprietăţii pentru că
cea de a doua rezultă automat din (5.104)
Nu vom face aici demonstraţia proprietăţii, întrucât aceasta depăşeşte cadrul lucrării.
Cei interesaţi pot consulta demonstraţia ingenioasă din Vaidyanathan, ş.a. (1997) reluată şi
în Manolakis, ş.a. (2005).
Proprietatea 4. Filtrul erorii de predicţie înainte are proprietatea de „a albi” un
proces stochastic staţionar în timp discret, cu condiţia ca ordinul filtrului să fie
suficient de mare.
Putem justifica această proprietate dacă ne referim la afirmaţia făcută în paragraful 5.1.3 cu
privire la faptul că generarea unui proces staţionar pornind de la zgomot alb şi utilizând un
model AR pe de o parte, şi predicţia lineară a aceluiaşi proces pe de alta, sunt două operaţii
inverse, una în raport cu cealaltă. Consecinţa este că, dacă ordinul filtrului erorii de predicţie
este, cel puţin, egal cu cel al procesului AR, atunci procesul aleator de la ieşirea filtrului va fi
necorelat, adică zgomot alb.
Dintr-un alt punct de vedere, procesul de predicţie se bazează pe prezenţa corelaţiei
dintre eşantioanele adiacente ale procesului de intrare. Implicaţiile acestei observaţii este că,
pe măsură ce ordinul filtrului erorii de predicţie creşte, succesiv se reduce corelaţia dintre
eşantioanele adiacente ale procesului de intrare, până când se ajunge la punctul în care filtrul
are un ordin suficient de mare pentru ca ieşirea sa să fie alcătuită dintr-o secvenţă de
eşantioane necorelate.

5.7 Structuri lattice pentru filtrele de

eroare de predicţie
Structura lattice (în traducere românească zăbrele) reprezintă o modalitate eficientă şi
modulară de implementare sub forma unei reţele a predicţiei lineare. Un predictor lattice
constă din conexiunea în cascadă a unor etaje elementare de structură tip lattice. Numărul de
etaje este egal cu ordinul de predicţie.

5.7.1 Ortogonalitatea erorilor de predicţie

Să considerăm o „baterie” de filtre ale erorii de predicţie înapoi de ordine de la 0 la M,
conectate în paralel ca în Figura 5.10. De observat că pentru predicţia de ordinul zero, filtrul
erorii se reduce la conexiunea directă. Vom nota prin b0  n , b1  n , , bM  n , secvenţa
erorilor predicţiei înapoi produsă de aceste filtre. Aceste erori pot fi exprimate prin
intermediul secvenţei de intrare şi al coeficienţilor filtrelor de eroare astfel, vezi relaţia
(5.41)
b0  n  u  n 
b1  n  a1,1u  n   a1,0u  n  1
b2  n  a2,2u  n   a2,1u  n  1  a2,0u  n  2
 5.7 Structuri lattice pentru filtrele de eroare de predicţie 143

Figura 5.10 Set de filtre ale erorii de predicţie înapoi de

ordine cuprinse între 0 şi M, conectate în
paralel.

bM  n  aM , M u  n   aM , M 1u  n  1   aM ,0u n  M 
Aceste M  1 ecuaţii lineare se pot combina într-o singură ecuaţie matricială, sub
forma:
b  n  Lu  n (5.105)
unde u  n este vectorul de intrare de dimensiune  M  1 1 :

u  n  u  n u  n  1 u  n  M 
T

iar b  n este vectorul erorilor de predicţie înapoi de dimensiune  M  1 1 :

b  n  b0  n b1  n bM  n
T

Matricea coeficienţilor din membrul drept al ecuaţiei (5.105) are dimensiunea

 M  1   M  1 şi este dată de coeficienţii filtrelor de eroare de predicţie înapoi cu ordine
de la 0 la M, astfel:
1 0 0
a 1 0 
L
1,1
(5.106)
 
 
 aM , M aM , M 1 1 
Matricea L are trei proprietăţi utile:
1. este inferior-triunghiulară, cu valoarea 1 de-a lungul diagonalei sale principale;
toate elementele sale deasupra diagonalei principale sunt nule.
2. determinantul matricii L este unitar, prin urmare este nesingular (este
inversabilă).
144 PREDICŢIA LINEARĂ - 5

3. elementele nenule din fiecare linie a matricii L sunt, cu excepţia conjugării

complexe, egale cu coeficienţii filtrului erorii de predicţie al cărui ordin
corespunde cu poziţia acelei linii în matrice.
Din cele prezentate până acum, este evident că transformarea lineară (5.105) are toate
proprietăţile descompunerii inferior triunghiulară a vectorului de date u  n , descompunere
prezentată în Capitolul 3. În contextul predicţiei lineare, transformarea (5.105) poartă nume-
le de algoritm de ortogonalizare Gram-Schmidt. În sens invers, fiind dat vectorul b  n , se
poate obţine vectorul u  n prin utilizarea inversei ecuaţiei (5.105):
u  n  L1b  n (5.107)
Secvenţa de erori a predicţiei înapoi ce constituie elementele vectorului b  n au o
proprietate importantă:
Şirul de erori de predicţie înapoi b0  n , b1  n , , bM  n este constituit din elemen-
te ortogonale unul în raport cu celălalt, după cum arată relaţia:
P , i  m
E bm  n bi  n   m (5.108)
0, i  m
Pentru a demonstra proprietatea, vom presupune de la început că m  i . În scopul
demonstrării relaţiei (5.108), începem prin a utiliza suma de convoluţie din (5.41) pentru a
exprima eroarea de predicţie bi  n
i
bi  n   ai ,i  k u  n  k 
k 0

În continuare, utilizăm această relaţie pentru a evalua autocorelaţia secvenţei bi  n :

i
E bm  n bi  n   ai,i k E bm  n u  n  k  (5.109)
k 0

Conform principiului ortogonalităţii, media statistică din (5.109) este nulă atâta vreme cât
0  k  i . Prin urmare, pentru m  i şi 0  k  i :
E bm  n bi  n  0, m  i
De asemenea, atunci când m  i , ecuaţia (5.109) se reduce la
E bm  nbi  n  E bm nbm n  Pm , m  i

De subliniat că proprietatea este îndeplinită numai în condiţiile în care u  n este un

proces aleator staţionar în sens larg. În concluzie, algoritmul Gram-Schmidt transformă
vectorul de intrare u  n alcătuit din eşantioane corelate în vectorul b  n al erorilor de
predicţie care sunt necorelate.
 5.7 Structuri lattice pentru filtrele de eroare de predicţie 145

În sfârşit, exprimăm matricea de corelaţie a vectorului erorilor de predicţie înapoi b  n

în funcţie de matricea de corelaţie R m1 a semnalului de intrare. În conformitate cu termino-
logia utilizată în legătură cu descompunerea LDU dezvoltată în Capitolul 3, matricea respec-
tivă este notată prin Dm1 :
Dm1  E b  n b H  n  E Lu  n u H  n LH 
(5.110)
 LE u  n u H  n LH  LR m1LH
Vom încheia prin două observaţii referitoare la matricea de corelaţie a erorilor de
predicţie înapoi:
1. Atunci când matricea R m1 a vectorului de intrare u  n este pozitiv definită şi are
drept urmare inversă, matricea de corelaţie Dm1 a vectorului erorilor de predicţie
este, de asemenea, pozitiv definită şi inversabilă.
2. Matricea de corelaţie Dm1 este diagonală, pentru că b  n este alcătuit din elemen-
te care sunt ortogonale între ele. În particular, expresia lui Dm1 este:
Dm1  diag  P0 , P1 , , Pm  (5.111)
unde Pi este puterea medie a erorii de predicţie înapoi de ordinul i, bi  n , adică:

Pi  E  bi  n  , i  0,1,
2
,M (5.112)
 

5.7.2 Recursii după ordin pentru erorile de predicţie

O posibilitate de a implementa algoritmul Gram-Schmidt din ecuaţia (5.105) care transfor-
mă vectorul de intrare u  n în vectorul echivalent b  n alcătuit din erori de predicţie neco-
relate este de a utiliza structura de calcul paralel din Figura 5.10. Calculul în paralel al erori-
lor este însă ineficient în condiţiile în care prin algoritmul Levinson-Durbin, calculul poate fi
realizat recursiv după ordinul erorii de predicţie, prin conectarea în cascadă a mai multor
structuri elementare de calcul denumite predictoare lattice şi care, fiecare în parte, realizea-
ză o recursie elementară de un ordin atât pentru eroarea de predicţie înainte cât şi pentru
eroarea de predicţie înapoi. Numele acestor structuri este dat de reprezentarea lor grafică
care aminteşte de structura de grinzi cu zăbrele. Numărul de etaje de predicţie lattice utiliza-
te egalează ordinul filtrului erorii de predicţie care se implementează.
Relaţiile intrare-ieşire care caracterizează un predictor lattice pot fi extrase din formula-
rea matriceală a algoritmului Levinson-Durbin dată prin ecuaţiile (5.53) şi (5.55). Reluăm
aceste ecuaţii aici:
a  0 
am   m 1    m  B  (5.53)
0  am 1 
146 PREDICŢIA LINEARĂ - 5

0  a 
amB   B    m  m 1  (5.55)
am 1  0 
Să considerăm pentru început filtrul erorii de predicţie înainte de ordinul m cu vectorul
de intrare u  n , u  n  1, , u n  m . Vectorul um1  n poate fi partiţionat sub forma:
u m  n  
 
u m 1  n     (5.113)
 u  n  m 
 
u  n  
 
sau, echivalent: u m 1  n     (5.114)
u m  n  1
 
În continuare formăm produsul scalar al vectorilor a m şi um1  n :
1. Pentru membrul stâng al ecuaţiei (5.53):
f m  n  amH um1  n (5.115)
unde f m  n este eroarea de predicţie înainte produsă la ieşirea filtrului erorii de
predicţie înainte de ordinul m.
2. Pentru primul termen din membrul drept al ecuaţiei (5.53) utilizăm partiţia lui
um1  n din ecuaţia (5.113):
u m  n  
 
a H
m 1 0 u m 1  n   a
H
m 1 0  
 u  n  m  (5.116)
 
 a m 1u m  n   f m 1  n 
H

unde f m1  n este eroarea de predicţie înainte produsă la ieşirea filtrului erorii de
predicţie înainte de ordinul m  1 .
3. Pentru a doua matrice din membrul drept al ecuaţiei (5.53) se utilizează partiţia lui
um1  n din ecuaţia (5.114):
u  n  
 
0     a m 1u m  n  1  bm 1  n  1
BT BT
a m 1 (5.117)
u m  n  1
 
unde bM 1  n  1 este eroarea de predicţie înapoi întârziată produsă la ieşirea
filtrului erorii de predicţie înapoi de ordinul m  1 .
Combinând ultimele trei relaţii, se obţine:
 5.7 Structuri lattice pentru filtrele de eroare de predicţie 147

f m  n  f m1  n   m bm1  n  1 (5.118)

În mod similar, actionând asupra ecuaţiei (5.55) se găseşte că:
bm  n  bm1  n  1   m f m1  n (5.119)
Ecuaţiile (5.118) şi (5.119) reprezintă perechea de ecuaţii de recursie după ordin care
caracterizează etajul m al predictorului lattice. Ele pot fi scrise într-un format matricial:
 f m  n 1  m   f m1  n 
    , m  1, 2,..., M (5.120)
bm  n   m 1  bm 1  n  1
Pentru a da o reprezentare grafică etajului de predicţie lattice, putem vedea bM 1  n  1
drept rezultat al aplicării operatorului de întârziere unitară asupra erorii de predicţie înapoi
bM 1  n :
bm1  n  1  z 1 bm1  n (5.121)
Utilizarea ecuaţiilor (5.120) şi (5.121) conduce la reprezentarea etajului m al predictorului
lattice din Figura 5.11.
Pentru cazul elementar m  0 , se scriu condiţiile iniţiale:
f0  n  b0  n  u  n (5.122)
unde u  n este semnalul de intrare la momentul n . Prin urmare, pornind cu m  0 şi
mărind progresiv ordinul filtrului se obţine modelul lattice echivalent prezentat în Figura
5.12 pentru un filtru de eroare de predicţie de ordinul M . Este nevoie doar de cunoaşterea
setului complet de coeficienţi de reflexie 1 ,  2 , ,  M pentru a reprezenta filtrul.
Structura lattice a predictorului oferă următoarele avantaje:
1. Eficienţă. Atât eroarea de predicţie înainte cât şi cea de predicţie înapoi sunt genera-
te simultan.
2. „Decuplare” între etajele predictorului lattice pentru că erorile de predicţie produse
de etaje sunt ortogonale una pe cealaltă, aşa cum s-a arătat în paragraful 5.7.1.

Figura 5.11 Celula elementară a predictorului lattice.

148 PREDICŢIA LINEARĂ - 5

Figura 5.12 Structura modulară a unui predictor lattice de ordin m.

3. Modularitatea structurii. Dacă problema o cere, se pot adăuga una sau mai multe
celule fără a fi afectate celulele anterioare.

5.8 Recursia lui Burg

Burg a propus o metodă de calcul recursiv care, spre deosebire de algoritmul
Levinson-Durbin nu necesită calculul intermediar al valorilor funcţiei de autocorelaţie.
Metoda calculează valorile coeficienţilor de reflexie pornind direct de la datele de intrare
(Burg 1968, McClellan 1988). În afara excepţiei menţionate, algoritmul Burg utilizează
aceiaşi manieră de recursie după ordin ca şi filtrele erorii de predicţie discutate anterior. Prin
urmare, filtrele erorii de predicţie ce utilizează algoritmul Burg, operează într-o structură de
tip lattice (Haykin 1996).
Considerăm etajul m al predictorului lattice din Figura 5.12. Relaţiile intrare-ieşire ale
acestuia sunt exprimate în format matricial de ecuaţia (5.120). Reluăm aici expandat aceste
relaţii:
f m  n  f m1  n   m bm1  n  1 (5.118)
bm  n  bm1  n  1   m f m1  n (5.119)
unde m  1, 2, , M , M fiind ordinul final al predictorului.
Coeficientul de reflexie  m al etajului lattice m este astfel ales încât să minimizeze
funcţia de cost J m calculată prin însumarea mediilor statistică a semnalelor de eroare de
predicţie de la ieşirea etajului m a predictorului lattice:
J m  E  f m  n   E  bm  n 
2 2
(5.123)
   
Înlocuind relaţiile (5.118) şi (5.119) în (5.123) se obţine:

     
J m  E  f m 1  n   E  bm 1  n  1  1   m
2 2 2
 (5.124)
2 m E  f m 1  n  bm 1  n  1  2 m E  f m1  n  bm 1  n  1
În general, coeficientul de reflexie este o mărime complexă  m   m  j m . Vom dife-
renţia funcţia de cost J m în raport atât cu partea reală cât şi cea imaginară a lui  m pentru a
obţine gradientul complex al acesteia
 5.8 Recursia lui Burg 149

 Jm  Jm
J m  
 m  m
(5.125)

 2 m E  f m 1  n    E  bm 1  n  1   4 E  f
 
2

 
2
 
m 1  nbm1  n  1
Egalând acest gradient cu zero, vom determina valoarea optimă a coeficientului de reflexie
care minimizează funcţia de cost J m :
2 E  f m1  n  bm 1  n  1
 m ,o   , m  1, 2,
 
,M (5.126)
E f m1  n  bm1  n  1
2 2

Ecuaţia (5.126) pentru coeficientul de reflexie este cunoscută sub numele de formula Burg.
Utilizarea sa oferă două proprietăţi interesante:
1. Coeficientul de reflexie  m,o satisface condiţia
 m,o  1 m (5.127)
Cu alte cuvinte, formula Burg furnizează întotdeauna o structură de filtru de fază
minimă pentru predictorul lattice.
2. Valorile medii pătratice ale erorilor de predicţie înainte şi înapoi la ieşirea etajului m
sunt legate de erorile de predicţie aplicate la intrarea etajului astfel:
E  f m  n   1   m,o

2

  2
 E  f m 1 n
2

 (5.128)

şi

2


2

  2

E  bm  n   1   m,o E  bm1  n  1 

(5.129)

Formula Burg, aşa cum este descrisă de relaţia (5.126), presupune utilizarea mediilor pe
ansamblu. Presupunând că procesul de intrare u  n este ergodic, mediile pe ansamblu pot fi
înlocuite prin medii temporale. Se ajunge astfel la estimatorul Burg al coeficientului de
reflexie al etajului m al predictorului lattice
N
2  b  n  1 f  n
m 1

m 1
ˆm   n  m 1
, m  1, 2, M (5.130)
  f  n 
N
 bm 1  n  1
2 2
m 1
n  m 1

unde N este lungimea blocului de date de intrare iar f0  n  b0  n  u  n . Conform ultimei

relaţii, calitatea estimării lui ˆm este dependentă de lungimea blocului de date.
Algoritmul Burg necesită un volum mare de calcul şi de memorie. Această abordare nu
asigură o modalitate simplă de a exprima coeficientul de reflexie la momentul n+1 de
valoarea sa la momentul anterior n. Acest tip de comportare contrastează cu procedurile de
estimare adaptivă descrise în capitolele următoare, şi care se remarcă prin număr mic de
150 PREDICŢIA LINEARĂ - 5

operaţii matematice, volum de memorie redus şi formule de recursie după timp extrem de
convenabile.

Probleme
P 5.1 Se consideră procesul staţionar în sens larg u  n caracterizat prin următoarele
valori ale funcţiei de autocorelaţie:
r 0  1, r 1  0,8, r 2  0,6, r 3  0,4
(a) Folosiţi recursia Levinson-Durbin pentru a evalua coeficienţii de reflexie 1 ,  2 şi
3
(b) Implementaţi un predictor de tip lattice cu trei celule elementare, folosind valorile
coeficienţilor de reflexie găsiţi la punctul anterior.
(c) Evaluaţi puterea medie a erorii de predicţie la ieşirea fiecărei celule din acest
predictor. Trasaţi apoi un grafic al puterii erorii de predicţie în funcţie de ordinul
predicţiei. Comentaţi rezultatelor obţinute.
P 5.2 Se consideră structura de filtrare din Figura 5.13 în care întârzierea  este un
număr întreg mai mare decât unu. Se cere să se aleagă vectorul coeficienţilor
filtrului FIR, w astfel încât să minimizeze valoarea pătratică medie a erorii de
estimare e  n  . Să se determine valoarea optimă a lui w  n .
P 5.3 Se consideră predicţia liniară a unui proces autoregresiv staţionar u  n , generat
de ecuaţia cu diferenţe finite de ordinul I:
u  n  0.9u  n  1  v  n
unde v  n este un proces de zgomot alb cu media nulă şi dispersia unitară.
Ordinul de predicţie este doi.
(a) Determinaţi coeficienţii filtrului erorii de predicţie înainte a2,1 şi a2,2 .
(b) Determinaţi coeficienţii de reflexie 1 şi  2 ai predictorului lattice corespunzător.
Comentaţi rezultatele obţinute.
P 5.4 Vectorul u  n este caracterizat prin următoarele valori ale funcţiei de autocore-

Figura 5.13 Structura de filtrare din problema P 5.2.

 PREDICŢIA LINEARĂ Probleme 151

laţie: r 0  1, r 1  0,8, r  2  0,4, r 3  0,1 . Se doreşte realizarea predicţiei
eşantionului curent u  n pe baza eşantioanelor anterioare.
(a) Să se determine filtrul de predicţie optimal cu un singur coeficient.
(b) Să se determine filtrul de predicţie optimal cu doi coeficienţi.
(c) Să se determine filtrul de predicţie optimal cu trei coeficienţi.
(d) Utilizând rezultatele de la punctele anterioare să se determine EPM minimă, Pi
pentru fiecare filtru. Se consideră  d 2  1 .
P 5.5 Utilizaţi algoritmul Levinson-Durbin pentru a rezolva sistemul de ecuaţii
 1,0 0,8 0,5 0, 2   w0   0,8
 0,8
 1,0 0,8 0,5  w1   0,5

 0,5 0,8 1,0 0,8  w2   0, 2 
    
 0, 2 0,5 0,8 1,0   w3   0 
P 5.6 Consideraţi procesul AR(1) u  n  u  n  1  v  n , unde v  n este zgomot alb de
medie nulă şi varianţă  v2 iar 1    1 .
(a) Determinaţi matricea de corelaţie a procesului, R M 1 .
(b) Determinaţi predictorul linear înainte de ordinul M, utilizând algoritmul Levinson-
Durbin.
P 5.7 Dacă r l   cos 0l , determinaţi filtrul erorii de predicţie de ordinul doi şi
verificaţi dacă este un filtru de fază minimă.
P 5.8 Consideraţi o secvenţă aleatoare cu funcţia de autocorelaţie r 0  1; r 1  0,8;
r  2  0,6; r 3  0,4 .
(a) Determinaţi coeficienţii filtrului erorii de predicţie înainte a m şi valoarea minimă a
erorii de predicţie înainte Pm pentru m  0,1,2,3 .
(b) Determinaţi şi reprezentaţi structura lattice a filtrului erorii de predicţie de ordinul
trei.
P 5.9 Fiind dată secvenţa de autocorelaţie r 0  1; r 1  r  2  0,5; r 3  0,25 ,
calculaţi coeficienţii structurii lattice a filtrului erorii de predicţie prin utilizarea
algoritmului Schür.
P 5.10 Problema îşi propune să stabilească prin predicţie lineară un model AR(2) pentru
un semnal sinusoidal cu fază aleatoare înecat în zgomot aditiv. Secvenţa de autoco-
relaţie este dată de relaţia
r l   P0 cos 0l   v2 l 
unde  l  este impulsul unitate.
152 PREDICŢIA LINEARĂ - 5

(a) Să se determine parametrii modelului a2,0 , a2,1 , a2,2 şi  w2 în funcţie de P0 , 0 şi

 v2 .
(b) Să se determine coeficienţii de reflexie ai modelului lattice al procesului.
(c) Care sunt valorile limită ale coeficienţilor structurii directe de filtrare şi ai modelu-
lui lattice atunci când  v2  0 .

P 5.11 Consideraţi un filtru al erorii de predicţie specificat prin P3  15 16 ,  0  1 4,

2

1  1 2,  2  1 4 .
(a) Determinaţi coeficienţi filtrului FIR corespunzător.
(b) Determinaţi valorile funcţiei de autocorelaţie r 1 , r  2 şi r 3 .
(c) Determinaţi valoarea r  4 astfel încât valoarea minimă a pătratului erorii de
predicţie P4 a filtrului de predicţie de ordinul patru corespunzător să fie minim
posibilă.

P 5.12 Consideraţi procesul AR definit prin ecuaţia cu diferenţe finite

u  n  0,7u  n  1  0,66u  n  2  0,432u n  3  v n
unde v  n este un proces de zgomot alb de medie nulă şi varianţă unitară.
(a) Determinaţi funcţia de sistem H  z  care leagă u  n de v  n .
(b) Arătaţi că polii lui H  z  sunt 0,9; -0,8; şi 0,6.
(c) Determinaţi puterea lui u  n .
(d) Determinaţi coeficienţi de reflexie ai lui u  n : 1 ,  2 şi 3 .
(e) Determinaţi puterile erorii de predicţie ale lui u  n : P1 , P2 şi P3 .
(f) Ce se poate spune despre valorile lui  m şi Pm pentru m  4 .
 6
Capitolul

6 Metode de gradient
n Capitolul 4 am stabilit că prin rezolvarea ecuaţiei Wiener-Hopf pot fi obţinute valorile

Î optimale ale coeficienţilor unui filtru Wiener transversal, cu condiţia cunoaşterii caracte-
risticilor statistice ale semnalelor de interes. Reamintim că soluţia ecuaţiei Wiener-Hopf
este obţinută prin minimizarea unei funcţii de cost care, de obicei, depinde printr-o expresie
pătratică de coeficienţii filtrului. O cale alternativă de a determina ponderile optime ale
filtrului transversal este de a utiliza un algoritm iterativ de căutare, care porneşte dintr-un
punct iniţial, ales arbitrar în spaţiul vectorului coeficienţilor filtrului, deplasându-se, prin paşi
progresivi, spre vectorul coeficienţilor optimi ai filtrului. Fiecare pas al algoritmului se efec-
tuează astfel încât să determine reducerea funcţiei de cost. Pentru o funcţie de cost convexă,
ceea ce se întâmplă în cazul unui filtru FIR, o asemenea procedură de găsire a minimului
converge în mod garantat către soluţia optimă. Principiul determinării vectorului optim al
coeficienţilor prin minimizarea progresivă a funcţiei de cost este fundamental în dezvoltarea
algoritmilor adaptivi, care fac obiectul următoarelor capitole ale cărţii. Prin urmare, o înţele-
gere aprofundată a metodelor iterative de căutare, atât din punctul de vedere a dezvoltării
lor, cât şi din cel a proprietăţilor de convergenţă pe care le au, este esenţială în studiul
algoritmilor adaptivi (Widrow şi Stearns 1985).
În acest capitol vom prezenta două metode de căutare iterativă bazate pe determinarea
gradientului funcţiei de cost, care permit stabilirea valorii coeficienţilor filtrului Wiener
transversal ce corespund minimului acestei funcţii. Aceste metode reprezintă versiuni ideali-
zate ale unei clase de algoritmi care, sub numele generic de algoritmi LMS vor fi introduşi
în capitolul următor. Vom presupune pe parcursul capitolului că sunt cunoscute à-priori
matricea de corelaţie a eşantioanelor de intrare precum şi vectorul de intercorelaţie dintre
semnalul dorit şi semnalul de intrare.
Prima metodă prezentată este denumită în limba engleză „Steepest Descent”, ceea ce se
traduce în română sub numele de metoda pantei descendente maxime. Pe lângă utilizarea
denumirii româneşti, vom folosi frecvent şi numele metoda SD, făcând apel la prescurtarea
denumirii din limba engleză. Conceptul care stă la baza acestei metode este simplu. Indife-
rent de punctul iniţial al suprafeţei de eroare din care se porneşte, algoritmul va face un pas
în direcţia pe care funcţia de cost descreşte cel mai rapid, adică pe direcţia pantei descenden-
te maxime, direcţie dată de gradientul la suprafaţa de eroare. De aici şi denumirea alternativă
154 METODE DE GRADIENT - 6

Figura 6.1 Structura filtrului transversal adaptiv.

pe care o are metoda SD: metoda gradientului. Repetând succesiv paşii de dimensiune
convenabilă făcuţi pe direcţia pantei descendente maxime, convergenţa metodei SD este
asigurată.
De multe ori metoda SD prezintă o convergenţă slabă şi lentă. Cea de a doua metodă
introdusă în acest capitol depăşeşte acest neajuns cu preţul unei complexităţi mai mari.
Cunoscută sub numele de metoda Newton, ea poate, cel puţin din punct de vedere teoretic,
să stabilească într-un singur pas poziţia minimului suprafeţei de eroare.

6.1 Metoda SD
6.1.1 Introducere
Considerăm filtrul transversal ce are drept intrări eşantioanele u  n , u  n  1, ,
u  n  M  1 extrase dintr-un proces aleator stator staţionar în sens larg de medie nulă şi
matrice de corelaţie R . Setul corespunzător de coeficienţi ai filtrului transversal este:
w0  n , w1  n , , wM 1  n . În plus, răspunsul dorit d  n constituie un cadru de referinţă
pentru acţiunea de filtrare optimală. Figura 6.1 descrie configuraţia de filtrare utilizată.
Notăm prin u  n vectorul eşantioanelor de la intrările filtrului din momentul n. Estima-
rea răspunsului dorit de la ieşirea filtrului este desemnată prin dˆ  n Un  , unde Un este
spaţiul subîntins de intrările u  n , u  n  1, , u  n  M  1 . Comparând această estimare
cu răspunsul dorit d  n , se generează eroarea de estimare, e  n  :
e  n  d  n  dˆ n Un   d n  w H n u n (6.1)

unde termenul w H  n u  n este produsul scalar dintre vectorul coeficienţilor filtrului w  n

şi vectorul semnalului de intrare u  n :

w  n   w0  n w1  n wM 1  n
T
(6.2)

u  n  u  n u  n  1 u  n  M  1
T
şi (6.3)
 6.1 Metoda SD 155

Dacă vectorul u  n şi semnalul de referinţă d  n sunt mutual staţionare, atunci

eroarea pătratică medie (EPM) sau funcţia de cost J  n la momentul n are o dependenţă
pătratică de vectorul coeficienţilor filtrului, astfel că se poate scrie (ecuaţia (4.38)):
J  n   d2  w H  np  p H w  n  w H  n Rw  n (6.4)
unde  d2 este varianţa răspunsului dorit d  n , p este vectorul de intercorelaţie dintre
vectorul u  n şi răspunsul dorit iar R este matricea de corelaţie a vectorului de intrare
u  n .
Dependenţa EPM J  n de elementele vectorului coeficienţilor w  n poate fi vizuali-
zată printr-o suprafaţă în formă de cupă ce are un singur minim denumită suprafaţa de
eroare a filtrului adaptiv (vezi Figura 6.2 pentru cazul unui filtru transversal cu doi coefi-
cienţi). Procesul adaptiv are sarcina de a căuta continuu punctul de minim al acestei suprafe-
ţe. În punctul de minim al suprafeţei de eroare, vectorul coeficienţilor ia valoarea optimă
w o , definită de ecuaţiile Wiener-Hopf (4.28):

Rw o  p (6.5)
Eroarea pătratică medie este egală cu (vezi ecuaţia (4.40)):
J min  J  wo    d2  p H wo (6.6)

6.1.2 Descrierea metodei SD

Pentru a înţelege principiile care guvernează metoda SD, vom considera cazul unui filtru
FIR cu doi coeficienţi, a cărui suprafaţă de eroare este reprezentată în Figura 6.2.

Figura 6.2 Suprafaţa de eroare J  w  n a unui filtru transversal cu

doi coeficienţi: w0 , w1 .
156 METODE DE GRADIENT - 6

Punctul iniţial al algoritmului sunt valorile coeficienţilor incluse în vectorul w 0 .

Acestor valori le corespunde, conform suprafeţei reprezentate în Figura 6.2, o eroare EPM
de valoare J  w 0  J 0 . În punctul corespunzător al suprafeţei de eroare pătratică
medie, există o orientare specifică a suprafeţei ce poate fi descrisă prin derivatele
direcţionale ale suprafeţei în acest punct. Aceasta înseamnă că în punctul considerat, există o
pantă instantanee la suprafaţă care exprimă viteza şi direcţia după care suprafaţa are variaţie
maximă. Funcţia matematică corespunzătoare acestui vector de direcţie este gradientul
suprafeţei în punctul considerat,  w  J 0 . În cazul nostru bidimensional, gradientul
funcţiei de eroare în punctul de coordonate se scrie astfel pentru un set de coeficienţi
complecşi ai filtrului:
 J   J J 
 w   a  j b 
 w J  0     
0 0 0
(6.7)
 J   J J 
 w   j
 1  J  J 0  a1 b1  J  J 0

unde J ak şi J bk , k  0,1 sunt derivatele parţiale ale funcţiei de cost J în raport cu
partea reală ak respectiv partea imaginară bk a coeficientului wk al filtrului. În (6.7) relaţia
este prezentată pentru un filtru având M  2 coeficienţi; extinderea ei la M arbitrar este
imediată. Proiecţia acestui gradient pe contururile funcţiei de cost este prezentată în Figura
6.3.
Să presupunem acum că în punctul  w 0 , J 0 se pune o bilă. Dacă i s-ar da drumul,
atunci bila s-ar rostogoli înspre minimul suprafeţei, adică într-o direcţie opusă celei pe care
viteza de creştere a funcţiei este maximă. Această direcţie este opusa celei a gradientului în
punctul considerat sau echivalent, este direcţia „pantei descendente maxime” (SD). Prin
urmare, metoda SD rezolvă ecuaţiile Wiener-Hopf printr-o metodă matematică similară
descrierii calitative a procesului de rostogolire al bilei înspre minimul suprafeţei paraboidale.

Figura 6.3 Calculul din derivatele parţiale a

direcţiei de deplasare a metodei
gradientului.
 6.1 Metoda SD 157

Dacă s-ar lua „instantanee” la intervale discrete de timp asupra poziţiei bilei, bila s-ar
deplasa în paşi discreţi către minimul suprafeţei de eroare. Din fiecare nouă poziţie de timp
discret, bila ar aluneca înspre minimul global pe o direcţie dependentă de gradientul lui J în
punctul considerat.
Generalizând acum, poziţia bilei la momentul de timp 1 în planul w este:
w 1  w 0  w  J 0
unde  este o constantă oarecare, ce va fi definită mai târziu. La momentul de timp 2 se
scrie:
w  2  w 1  w  J 1
iar formula generală de recursie se exprimă prin:
w  n  1  w  n  w  J  n (6.8)
Relaţia (6.8) exprimă algoritmul matematic care corespunde la alunecarea bilei către
minimul suprafeţei de eroare pătratică medie. Vectorul w  n din (6.8) este setul coeficienţi-
lor filtrului adaptiv la iteraţia n. Această recursie exprimă noul vector al coeficienţilor în
funcţie de vechea sa valoare la care se adaugă un termen de corecţie care depinde de
proprietăţile funcţiei de cost în poziţia anterioară.
Pentru a aplica metoda gradientului la cazul filtrului adaptiv, trebuie estimat gradientul
suprafeţei de eroare. Aplicarea derivatei vectoriale expresiei (6.4) furnizează:
w J  n  2p  2Rw  n (6.9)
Relaţia (6.9) este universal valabilă, indiferent de punctul de pe suprafaţa de eroare în
care este ea calculată. Înlocuirea expresiei gradientului (6.9) în relaţia de recursie (6.8),
produce următoarea formulare pentru recursia SD:
w  n  1  w  n    2p  2Rw  n (6.10)
Întrucât  este o constantă, se obişnuieşte să se definească valoarea pasului algoritmu-
lui SD prin:
  2 (6.11)
ceea ce conduce la forma utilizată pentru descrierea metodei de recursie SD:
w  n  1  w  n    p  Rw  n (6.12)
Ultima relaţie poate fi scrisă şi în forma:
w  n  1   I M   R  w  n  p (6.13)
unde I M este matricea identitate de dimensiune M  M .
În concluzie, metoda gradientului poate fi aplicată la stabilirea problemei filtrării opti-
male după cum urmează (Alexander 1986):
1. Se calculează pentru început estimări ale matricii de corelaţie R şi ale vectorului de
intercorelaţie p.
158 METODE DE GRADIENT - 6

2. Estimările R̂ se folosesc în ecuaţia (6.12) pentru a realiza iteraţii succesive în

scopul determinării soluţiei ecuaţiei Rwˆ  pˆ prin metoda pantei descendente
maxime.

6.2 Soluţia directă a ecuaţiei de recursie

SD
6.2.1 Calculul soluţiei
Vom începe prin a scrie ecuaţia de recursie (6.13) la momentul de timp n  0 :
w 1   I M   R  w 0  p (6.14)
Similar, pentru n  1 :
w  2   I M   R  w 1  p (6.15)
Dacă înlocuim ecuaţia (6.14) în (6.15) şi continuăm acest proces până la iteraţia a n-a
obţinem:
n 1
w  n    I M   R   w  0   p   I M   R 
n j
(6.16)
j 0

Ecuaţia (6.16) poate fi folosită pentru a calcula vectorul coeficienţilor după oricare
iteraţie n, pentru că valorile lui p şi R sunt cunoscute. Totuşi, calculele sunt greoaie, iar
expresia matematică nu evidenţiază convergenţa lui w  n către w o . Este nevoie, prin
urmare, de o metodă care să simplifice interpretarea ecuaţiei (6.16). Vom aplica în acest
scop asupra vectorului coeficienţilor w  n transformări lineare, transformări ale căror
proprietăţi au fost discutate în Capitolul 3. În acest scop, definim vectorul de eroare al coefi-
cienţilor la momentul n:
c  n  w  n  w o (6.17)
Înlocuim pe w  n cu c  n  în ecuaţia (6.12), scăzând valoarea optimă w O din ambii
termeni ai ecuaţiei:
c  n  1  w  n  1  w o  w  n  w o    p  Rw  n
(6.18)
 c  n    p  Rw  n
Ecuaţia (6.18) poate fi exprimată doar în funcţie de vectorul de eroare, dacă în termenul
drept se adună şi se scade factorul  Rw o :
c  n  1  c  n   R  w  n  wo     p  Rwo  (6.19)
În (6.19), ultima paranteză este nulă, ceea ce conduce la ecuaţia de recursie în formă
vectorială:
 6.2 Soluţia directă a ecuaţiei de recursie SD 159

c  n  1   I M   R  c  n (6.20)
Ultima formă, ecuaţia (6.20) este mult mai uşor de evaluat decât soluţia directă (6.13).
Soluţia generală (6.16) se prezintă acum sub forma:
c  n   I M   R  c 0
n
(6.21)
Deşi (6.21) reprezintă o îmbunătăţire în raport cu ecuaţia (6.16) în evidenţierea compor-
tării dinamice a soluţiei w  n , nu este încă clar modul în care termenul din dreapta ecuaţiei
tinde către zero pentru n   . Dificultatea întâmpinată este un rezultat direct al faptului că,
componentele vectorului c  n  sunt legate unele de celălalte ca urmare a faptului că
 I M   R  nu este o matrice diagonală. Este necesară prin urmare, aplicarea transformării
unitare de similaritate (vezi Capitolul 3, ecuaţia (3.107)) pentru a transforma setul de ecuaţii
lineare cuplate (6.21) într-un set de ecuaţii decuplate, în care fiecare componentă scalară să
fie funcţie de o singură pondere scalară. Prin transformare, R se descompune astfel:
R  QΛQH (6.22)
Coloanele matricii Q sunt constituite din setul ortogonal de vectori proprii asociaţi valorilor
proprii ale matricii R. Matricea Q este denumită matricea unitară a transformării. Matricea
Λ este diagonală şi are drept elemente diagonale valorile proprii ale matricii de corelaţie R.
Aceste valori proprii notate prin 1 , 2 , , M , sunt toate reale şi pozitive. Fiecare valoare
proprie este asociată vectorului propriu corespunzător sau coloanei corespunzătoare a
matricii Q.
Se porneşte de la ecuaţia de bază a recursiei (6.13) în care se aplică matricii de corelaţie
transformarea (6.22):
w  n  1  Q  I M   Λ  QH w  n  p (6.23)
unde s-a folosit proprietatea matricilor ortogonale QQH  I M . Se defineşte în continuare,
vectorul coeficienţilor necuplaţi w n , prin transformarea:
w  n   Q H w  n  (6.24)
Aceiaşi transformare dă şi setul de coeficienţi optimali necuplaţi:
wo  QH w o (6.25)
Pentru a obţine soluţia în această situaţie, se înmulţeşte ecuaţia (6.23) cu Q şi se înlocuieşte
H

apoi din ecuaţia (6.25):

w n  1  Q H Q  I M   Λ  w n  Q H p
(6.26)
  I M   Λ  w   n    p
unde s-a folosit notaţia:
p  Q H p (6.27)
Înlocuim acum în (6.25):
160 METODE DE GRADIENT - 6

wo  QH wo  QH R 1p (6.28)

Proprietăţile speciale ale transformării (6.22) fac, ca pentru inversa lui R, să putem scrie:
R   QΛQH   QΛ 1Q H
1
(6.29)
iar apoi înlocuind (6.29) în (6.28), să obţinem
wo  QH QΛ1QH p  Λ1p (6.30)
Ecuaţia (6.30) este similară ecuaţiei normale, cu excepţia faptului că este scrisă pentru
vectorul coeficienţilor necuplaţi w o . Pentru că  este o matrice diagonală, inversa sa este,
de asemenea, diagonală:
Λ1  diag 1 1 ,1 2 , ,1 M  (6.31)
Acum, se poate stabili o expresie simplă pentru fiecare componentă a lui w o , prin
dezvoltarea relaţiei (6.30):
1 1 0 0   p1 
 0 1 0   p2 

wo   2
(6.32)
  
  
 0 0 1 M   pM 
din care se observă că fiecare componentă wio este dată de:
wio  pi i , i  1,2, ,M (6.33)
Întrucât acum, matricea  I M   Λ  este diagonală, ecuaţia de recursie (6.26) poate fi
explicitată în felul următor:
 w1  n  1  1  1 0 0   w1  n     p1 
     
 w2  n  1    0 1  2 0   w2  n     p2 
 (6.34)
      
      
 wM  n  1  0 0 1  M   wM  n    pM 

Se observă că fiecare componentă wi  n  1 este funcţie doar de wi  n şi nu este funcţie de
nici o altă componentă wj  n , oricare ar fi j  i . Aceasta este exact proprietatea necesară
pentru a scrie sistemul de ecuaţii (6.34) ca un set de M ecuaţii scalare necuplate:
wi  n  1  1  i  wi n   pi, 1  i  M (6.35)
Aceste ecuaţii pot fi rezolvate în cazul general, obţinându-se întregul set de soluţii pentru
1 i  M .

6.2.2 Soluţia metodei SD

Ecuaţia de recursie (6.35) poate fi evaluată pentru valori succesive ale lui n şi o relaţie de
recurenţă poate fi stabilită. Exprimăm (6.35) pentru n  0 :
 6.3 Convergenţa metodei SD 161

wi 1  1  i  wi 0   pi

şi apoi pentru n  1 :
1
wi  2  1  i  wi 1   pi  1  i  wi 0   p 1  i 
2 j

j 0

Relaţia generală, este prin urmare:

n 1
wi  n  1  i  wi 0   p 1  i 
n j
(6.36)
j 0

Întrucât factorul 1  i  apare frecvent în cele ce urmează, facem substituţia:

 i  1  i (6.37)
şi rescriem relaţia (6.36):
n 1
wi  n   in wi 0   p  i j (6.38)
j 0

Pentru suma din ultima relaţie se poate scrie:

n 1
1   in
  ij 
j 0 1 i
(6.39)

astfel încât forma finală a relaţiei (6.38) ce dă soluţia necuplată a coeficienţilor filtrului
adaptiv este
 1   in 
wi  n   in wi 0   p   (6.40)
 1 i 

6.3 Convergenţa metodei SD

6.3.1 Stabilirea condiţiilor de convergenţă
Studiul convergenţei metodei gradientului o facem pe ecuaţia (6.40) pentru n   .
Condiţia ca această ecuaţie să producă o soluţie mărginită pentru wi  n este ca valoarea
absolută a lui  i să fie subunitară pentru orice 1  i  M :
i 1 (6.41)
Condiţia (6.41) impune restricţii asupra parametrului de câştig  , care conform relaţiei
(6.37) se scriu:
1  i  1 (6.42)
ceea ce este echivalent cu:
1  1  i  1 (6.43)
Este simplu de demonstrat că inegalităţile din (6.43) sunt echivalente cu:
162 METODE DE GRADIENT - 6

2
0  (6.44)
i
Ultima relaţie trebuie să fie valabilă pentru orice i, 1  i  M şi, prin urmare, trebuie
găsită valoarea minimă a lui  pentru care orice i îndeplineşte condiţia (6.42). Cazul cel
mai defavorabil se produce atunci când i  max , valoarea proprie maximă a matricii de
corelaţie R. Domeniul valorilor lui  care asigură convergenţa este prin urmare:
2
0  (6.45)
max
Pentru  situat în limitele mai sus menţionate, avem 0   i  1 şi utilizând (6.40), se
obţine prin trecere la limită:
p
lim wi  n  i (6.46)
n  i
De observat că acesta este exact rezultatul pentru w o , soluţia optimă pentru coeficienţii
necuplaţi obţinută prin relaţia (6.33). Prin urmare, coeficienţii obţinuţi prin metoda pantei
descendente maxime converg către setul de valori optimale ce reprezintă soluţiile ecuaţiilor
Wiener-Hopf, cu condiţia ca  să se găsească între limitele impuse de relaţia (6.45).

6.3.2 Dinamica procesului de convergenţă

Vom examina în continuare procesul prin care metoda SD tinde către w o optimal. Elemen-
te esenţiale definitorii pentru acest proces sunt constantele de timp care stabilesc evoluţia
soluţiei recursive. De asemenea, acestea stabilesc natura convergenţei: monotonă sau oscila-
torie. Vom utiliza în continuare spaţiul coeficienţilor centraţi necuplaţi v , care oferă un
punct de vedere global asupra procesului de convergenţă.
Începem, prin a reaminti din ecuaţia (6.17) expresia vectorului de eroare (centrat) al
coeficienţilor:
c  n  w  n  w o
Notăm prin v  n vectorul care se obţine în urma aplicării transformării unitare de similari-
tate (6.22) asupra vectorului centrat al coeficienţilor:
v  n  Q H c  n (6.47)
Vectorul v  n este atât centrat cât şi decuplat, ceea ce evidenţiază relaţia de mai jos, obţinu-
tă din (6.47) şi (6.24):
v  n  w n  wo (6.48)
Vom scrie componenta i a vectorului, vi  n , înlocuind (6.33) şi (6.40) în ecuaţia (6.48),
sub forma
 6.3 Convergenţa metodei SD 163

1   in pi
vi  n   in wi 0   pi  (6.49)
1   i i
Este o relaţie, care după prelucrări ulterioare conduce la:
 p 
vi  n   wi 0  i  1  i 
n
(6.50)
 i 
De remarcat că termenul din paranteza dreaptă a membrului drept al ecuaţiei este o constan-
tă dacă se aleg coeficienţii filtrului la momentul 0, wi 0 . În aceste condiţii, desemnăm
această constantă prin vi  0 . Prin urmare ecuaţia (6.50) poate fi scrisă mai simplu sub
forma:
vi  n  1  i  vi 0
n
(6.51)
Din examinarea relaţiei (6.51) este evident că în cazul în care vi 0  0 , coeficienţii
centraţi necuplaţi vi  n converg exponenţial către 0 cu o constantă de timp ce depinde de
raportul dintre valoarea lui  şi valorile proprii ale lui R. Reamintind definiţia lui vi  n ,
această constatare implică faptul că vectorul coeficienţilor w  n converge prin recursia SD
către valorile optime w o în aceiaşi manieră în care v  n converge către 0. O altă observaţie
importantă din ecuaţia (6.51), este că vi  n tinde către 0 indiferent de valoarea iniţială a lui
vi  0 , ceea ce este echivalent cu afirmaţia că w  n converge către w o , fără ca valoarea
iniţială aleasă w 0 să conteze. Este o proprietate foarte importantă a metodei SD ce se
păstrează la toţi algoritmii adaptivi ce se bazează pe această metodă.

6.3.3 Comportarea tranzitorie a erorii pătratice medii

Putem obţine o mai bună înţelegere asupra metodei gradientului prin examinarea
comportării tranzitorii a funcţiei de cost J  n , eroarea pătratică medie. Vom utiliza în acest
scop expresia EPM (4.56) stabilită în Capitolul 4:
M
J  n  J min   k vk  n
2
(6.52)
k 1

unde J min este valoarea minimă a erorii pătratice minime. Comportarea tranzitorie a compo-
nentei k a vectorului coeficienţilor centraţi necuplaţi vk  n este dictată de ecuaţia (6.51).
Prin înlocuirea lui (6.51) în ecuaţia (6.52) se obţine:
M
J  n  J min   k 1  k  vk 0
2n 2
(6.53)
k 1
164 METODE DE GRADIENT - 6

unde vk 0 este valoarea iniţială a lui vk  n . Dacă metoda SD este convergentă, adică dacă
pasul algoritmului  este ales în limitele definite de ecuaţia (6.45), se observă că, indiferent
de condiţiile iniţiale,
lim J  n  J min (6.54)
n 

Graficul obţinut prin reprezentarea dependenţei erorii pătratice medii J  n de numărul

de iteraţii, n, este denumită curbă de învăţare (Farhang-Boroujeny 1998, Haykin 1996).
Ecuaţia (6.53) evidenţiază observaţia: curba de învăţare a metodei SD constă dintr-o sumă
de exponenţiale, ce corespund fiecare câte unei componente necuplate a algoritmului. În
general, numărul de exponenţiale ce contribuie la curba de învăţare este egal cu numărul de
coeficienţi ai filtrului.

6.3.4 Viteza de convergenţă

Viteza (sau rata) de convergenţă a metodei SD depinde de parametrii suprafeţei de eroare.
Cel mai important efect asupra acesteia îl are numărul de condiţionare a matricii de corelaţie
R care determină forma suprafeţei J  n . Se poate arăta că (Luenberger 1984 , Manolakis,
ş.a. 2005):
   R   1
2

J  n    J  n  1 (6.55)
   R   1
unde:   R   max min (6.56)
este numărul de condiţionare a matricii R. Reamintim că   R  a fost introdus în Capitolul
3 prin relaţia (3.120) şi reprezintă gradul de împrăştiere a valorilor proprii a matricii de
corelaţie.
Să observăm că vectorii proprii ce corespund lui min şi max indică direcţiile de curbu-
ră minimă respectiv maximă a suprafeţei de eroare. Vom remarca că convergenţa se reduce
pe măsură ce contururile funcţiei de cost (vezi Figura 6.3) devin din ce în ce mai turtite. În
cazul unor contururi circulare, ce corespund condiţiei   R   1 , algoritmul converge rapid,
dar situaţia se degradează rapid pe măsură ce gradul de împrăştiere a valorilor proprii creşte.
Chiar dacă matricea R are M  1 valori proprii egale şi una diferită mult de acestea,
convergenţa algoritmului este foarte lentă.
Viteza de convergenţă poate fi caracterizată de constanta de timp  i definită prin:
 1 1
1  i  exp    1  (6.57)
 i  i
care defineşte timpul (sau numărul de iteraţii) în care componenta i a vectorului
coeficienţilor necuplaţi şi centraţi vi  n (vezi ecuaţia (6.51) se reduce la 1 e din valoarea sa
iniţială vi  0 . Atunci când  1 , se poate scrie:
 6.3 Convergenţa metodei SD 165

1
i (6.58)
i
În mod similar, există o constantă de timp  i , EPM pentru eroarea pătratică medie J  n , care
este, în conformitate cu (6.53) şi (6.57):
1
 i , EPM (6.59)
2i
În concluzie, se poate considera că constanta de timp (a coeficientului vk ) a algoritmu-
lui gradientului este  1  min  , care împreună cu condiţia   2 max , conduc la:
  max  2min    2 . Prin urmare, cu cât mai mare este gradul de împrăştiere a valori-
lor proprii a matricii de corelaţie R, cu atât mai îndelungat va fi timpul necesar ca algorit-
mul SD să realizeze convergenţa.
În exemplul care urmează, vom calcula proprietăţile unui predictor linear cu trei coefi-
cienţi, ilustrând proprietăţile metodei SD.
Exemplul 6.1: Se consideră semnalul u  n generat de procesul autoregresiv de
ordinul doi
u  n  a1u  n  1  a2u n  2  v n (6.60)
unde v  n este zgomot alb de medie nulă şi varianţă  v2 . Parametrii a1 şi a2 sunt
astfel aleşi încât sistemul (6.60) să fie de fază minimă. Ne propunem să calculăm
un filtru adaptiv care să utilizeze eşantioanele u  n  1 şi u  n  2 pentru a prezice
valoarea u  n (răspunsul dorit).
Soluţie: Dacă multiplicăm (6.60) cu u  n  k  , k  0,1,2 , şi aplicăm
operatorul de mediere statistică în ambii termeni, se obţin ecuaţiile lineare:
r  0  a1r 1  a2 r  2   v2
r 1  a1r  0  a2 r 1  0 (6.61)
r  2  a1r 1  a2 r 0  0
care pot fi utilizate pentru a exprima autocorelaţia lui u  n în funcţie de
parametrii modelului a1 , a2 . Soluţiile sistemului sunt
1  a2  v2
r  0   u2  ,
1  a2 1  a2 2  a12
a1  a2 
r 1  r  0 , r  2   a2  1  r 0
1  a2  1  a2 
Alegem  u2  1 , astfel încât
166 METODE DE GRADIENT - 6

1  a2  1  a2   a12 
2

 
2 
1  a2
v

Coeficienţii predictorului optimal

y  n  uˆ  n  wo,0u  n  1  wo,1u  n  2
sunt daţi de sistemul de ecuaţii Wiener-Hopf (vezi Capitolul 5)
r 0 wo,0  r 1 wo,1  r 1
r 1 wo,0  r 0 wo,1  r  2
cu J min  r 0  r 1 wo,0  r 0 wo,1.
Prin comparaţie cu (6.61), soluţia sistemului este wo,0  a1 , wo,1  a2 , şi
P2   v2 .
Valorile proprii ale matricii de corelaţie
 r  0 r 1 
R 
 r 1 r  0
 a1  2
sunt: 1,2  1  u
 1  a2 
de unde, rezultă că împrăştierea valorilor proprii este
1 1  a1  a2
 R  
2 1  a1  a2
care, dacă a2  0 şi a1  0 , este mai mare decât 1.
S-au realizat în continuare experimente MATLAB privind influenţa numărului
  R  şi a pasului SD  (Manolakis, ş.a. 2005, Quinquis, ş.a. 1998). În aceste
experimente s-a ales astfel  v2 încât  u2  1 . Formularea algoritmului SD este,
conform cu (6.12)
w  k   w0  k  w1  k   w  k  1    p  Rw  k  1
T

p   r 1 r  2 şi w 0  0 0

T T
unde
S-au ales două seturi diferite de valori pentru a1 şi a2 : primul conduce la un
număr   R  redus, iar cel de al doilea la o valoare mare pentru acelaşi parame-
tru.Tabelul 6.1 prezintă aceste valori împreună cu numerele   R  corespunză-
toare şi valorile varianţei  v2 .
 6.3 Convergenţa metodei SD 167
Tabelul 6.1 Valorile parametrilor utilizate în simularea algoritmului SD în problema
predicţiei liniare a semnalului autoregresiv de ordinul doi.
Împrăştierea
a1 a2 1 2  R  v2
valorilor proprii
Mică -0,1950 0,95 1,1 0,9 1,22 0,0965
Mare -1,5955 0,95 1,818 0,182 9,99 0,0322

Pentru fiecare set de parametri, punctul iniţial al algoritmului este dat de

vectorul w 0 , utilizând două valori distincte pentru pasul  . Pentru a descrie
comportarea tranzitorie a algoritmului, se reprezintă traiectoriile coeficienţilor
w0  k  şi w1  k  în funcţie de indicele iteraţiei k de-a lungul contururilor suprafe-
ţei de eroare J  k  . Traiectoria lui w  k  porneşte din originea w 0  0 şi se
termină în punctul corespunzător valorii optime w o    a1 a2  . O ilustrarea a
T

comportării tranzitorii poate fi de asemenea realizată şi în domeniul coeficienţilor

necuplaţi şi centraţi v  k  . Utilizând ecuaţia (6.51), observăm că aceşti coeficienţi
sunt daţi de:
v0  k  1  1  v0  0
k

v k     
 v1  k   1  2  v1 0
k

unde valoarea iniţială v  0 ce rezultă din ecuaţiile (6.17) şi (6.47), este

v 0  a1 
v 0   0   QT c 0  QT  w 0  w o   QT w o  QT a 
 v1 0   2
Astfel, traiectoria lui v  k  începe în v  0 şi se termină în origine vo  0 . Contu-
rurile funcţiei de eroare în domeniul transformat sunt date de ecuaţia (6.52):
J  k   J min  1v02  k   2v12  k 
a. Împrăştiere redusă a valorilor proprii şi răspuns supraamortizat
In acest experiment, valorile parametrilor au fost astfel alese încât numărul   R 
să fie apropiat de unitate (   R   1,22 ). Valoarea pasului algoritmului este
  0,3 , mai mică decât 2 max 1,8 , ceea ce asigură convergenţa, răspunsul
fiind amortizat. În Figura 6.4 se prezintă patru grafice care descriu comportarea
algoritmului. Graficul (a) prezintă evoluţia lui w0  k  şi w1  k  în funcţie de numă-
rul iteraţiei k , în timp ce graficul din (b) reprezintă curba de învăţare pentru
EPM J  k  . Graficul (c) reprezintă traiectoria vectorului coeficienţilor w  k  în
raport cu contururile de eroare de predicţie constantă. În sfârşit, (d) prezintă
traiectoria lui v  k  de a lungul curbelor ce reprezintă valori succesive ale lui
168 METODE DE GRADIENT - 6

Figura 6.4 Curbele ce caracterizează performanţele algoritmului SD utilizat în problema de

predicţie lineară cu pasul algoritmului   0,3 şi gradul de împrăştiere a valorilor
proprii   R   1,22 .
J  k  . Primele trei curbe pentru k  0,1,2 sunt numerotate pentru a reprezenta
direcţia traiectoriei.
În concluzie, coeficienţii converg în mod monoton, ceea ce confirmă natura
supraamortizată a răspunsului. De asemenea, convergenţa este rapidă pentru că
sunt suficiente aproximativ 15 iteraţii, ceea ce este de aşteptat în condiţiile în care
valorile proprii au o împrăştiere redusă.
b. Împrăştiere mare a valorilor proprii şi răspuns supraamortizat
Pentru acest experiment, valoarea parametrilor a fost astfel aleasă încât
împrăştierea valorilor proprii să fie aproximativ egală cu 10 (   R   9,99 ).
Pasul algoritmului este, din nou,   0,3 . Figura 6.5 reprezintă performanţele
experimentului, acestea fiind similare cu rezultatele reprezentate în Figura 6.4.
Diferenţa dintre cele două cazuri se datorează valorii mult mai mari pe care o are
numărul   R  în situaţia de faţă. În primul rând,contururile funcţiei de cost sunt
eliptice chiar şi în domeniul transformat, iar în al doilea rând, convergenţa este
lentă, fiind necesare peste 60 de iteraţii pentru convergenţă. Răspunsul tranzitoriu
este, din nou, supraamortizat.
 6.4 Metoda Newton 169

Figura 6.5 Curbele ce caracterizează performanţele algoritmului SD utilizat în problema de

predicţie lineară cu pasul algoritmului   0,3 şi gradul de împrăştiere a valorilor
proprii   R   10 .

c. Împrăştiere mare a valorilor proprii şi răspuns subamortizat

În final, cel de-al treilea experiment utilizează aceiaşi parametri de model ca şi în
cazul anterior dar măreşte valoarea pasului algoritmului la   1 , ceea ce este
inferior valorii limită care asigură stabilitatea, dar suficient pentru a face ca
răspunsul tranzitoriu să fie subamortizat. Figura 6.6 reprezintă curbele corespun-
zătoare. De remarcat că acum, maniera de convergenţă a parametrilor este oscila-
torie, totuşi convergenţa este sensibil mai rapidă decât în cazul supraamortizat.
Prin urmare, alegerea pasului algoritmului  reprezintă un element important în
reglarea algoritmului.

6.4 Metoda Newton

6.4.1 Formularea algoritmului
Exemplul 6.1 a evidenţiat ideea că performanţele algoritmului pantei descendente maxime
sunt afectate puternic de modurile de convergenţă lente care apar din cauza împrăştierii
valorilor proprii ale matricii de corelaţie R. Aceasta înseamnă că, dacă s-ar putea reduce
această împrăştiere, atunci şi performanţele de convergenţă ar deveni mult mai bune.
Această ultimă aserţiune este exact ceea ce îşi propune să realizeze metoda Newton. Pentru
170 METODE DE GRADIENT - 6

Figura 6.6 Curbele ce caracterizează performanţele algoritmului SD utilizat în problema de

predicţie lineară cu pasul algoritmului   1 şi gradul de împrăştiere a valorilor
proprii   R   10 .

a obţine algoritmul Newton în cazul funcţiilor de eroare pătratică medie, pornim de la algo-
ritmul SD dat prin ecuaţia (6.12). Utilizând egalitatea p  Rw o , relaţia (6.12) devine
w  n  1  w  n   R  w  n  w o  (6.62)
Ultima ecuaţie evidenţiază faptul că prezenţa lui R în (6.62) provoacă probleme datorită
împrăştierii valorilor proprii ale acestei matrici. Metoda Newton rezolvă aceste probleme
prin înlocuirea parametrului scalar de pas  din (6.8) prin matricea  A de dimensiuni
M  M . În aceste condiţii, ecuaţia de recursie (6.8) se scrie astfel:
1

w  n  1  w  n   A wn J
2
 (6.63)

Pentru a stabili valoarea pasului matricial  A care permite atingerea soluţiei optime
w o dintr-o singură iteraţie, vom relua ecuaţia (6.20), punând în locul lui  pe  A :
w  n  1  wo   I M   AR   w  n  wo  (6.64)

Algoritmul va converge într-un singur pas, dacă obligatoriu, termenul  I M   AR  este

nul, situaţie din care rezultă:
 6.4 Metoda Newton 171

Figura 6.7 Vectorul gradientului J indicând panta

descrescătoare maximă şi corecţia acestuia prin
metoda Newton, R 1J .
A  R 1 şi   1 (6.65)
Prin urmare, metoda Newton originală converge într-un singur pas şi are expresia:
1
w  n  1  w  n  R 1wn J  n (6.66)
2
Figura 6.7 demonstrează efectul înlocuirii vectorului gradient J din algoritmul SD origi-
nal cu vectorul R 1J în ecuaţia Newton de recursie (6.64). Acest lucru are efectul rotirii
vectorului gradient pe direcţia minimului suprafeţei de eroare medie pătratică.
Acest algoritm este foarte atractiv deoarece conduce la o convergenţă extrem de rapidă
(într-un singur pas), după care vectorul pondere atinge valoarea optimă w o . Algoritmul
Newton este aplicabil numai atunci când matricea R este pozitiv definită, deoarece implică
faptul că inversa acesteia există. În aplicaţiile practice, funcţia de cost J nu este cunoscută, ea
fiind doar estimată în urma măsurării statisticii semnalului de intrare (Farhang-Boroujeny
1998). Drept urmare, ar putea apare un zgomot de estimare a gradientului care ar afecta prin
intermediul ecuaţiei de evoluţie vectorul pondere. Acest efect nedorit ar putea fi diminuat
dacă   0 , ceea ce contravine condiţiei (6.65).
În metoda Newton originală pasul algoritmului se alege   1 iar w  n converge către
valoarea optimă w o într-o singură iteraţie. Totuşi, în implementările reale, valorile exacte
ale lui J şi R 1 nu sunt disponibile şi trebuie estimate, astfel încât suntem nevoiţi să folo-
sim un pas diferit de 1 (Manolakis, ş.a. 2005). Cu această observaţie, folosim ecuaţia de
recursie (6.64) şi condiţia matricială din (6.65) pentru a exprima valoarea vectorului w  n
după n iteraţii, valoarea iniţială fiind w 0 :
172 METODE DE GRADIENT - 6

w  n  wo  1     w 0  w o 
n
(6.67)
Ultima relaţie ne permite să concluzionăm că stabilitatea algoritmului Newton este garantată
atunci când 1    1 sau, echivalent
0 2 (6.68)
În concluzie, comportarea tranzitorie a algoritmului Newton este caracterizată de o
singură exponenţială, metoda Newton evidenţiindu-se printr-un unic mod de convergenţă,
acesta fiind determinat numai de mărimea pasului algoritmului  şi nu şi de valorile şi
gradul de împrăştiere a valorilor proprii i ale matricii de corelaţie ca în cazul algoritmului
SD.

6.4.2 O interpretare alternativă a metodei Newton

Vom încerca în cele ce urmează să dezvoltăm o abordare distinctă a algoritmului Newton
pornind de la transformarea Karhunen-Loève (TKL) introdusă în Capitolul 3.
Transformarea TKL a unui vector de date u  n  se defineşte prin ecuaţia (3.128):

u n  QH u  n (6.69)
unde Q este matricea de dimensiune M  M a cărei coloane sunt vectorii proprii ai matricii
de corelaţie R  E u  n u H  n . Reamintim că în Capitolul 3 s-a arătat că componentele
vectorului transformat, desemnate prin u1  n , u2  n , uM  n reprezintă un set de variabi-
le aleatoare mutual necorelate. Mai mult, conform relaţiei (3.131), valorile medii pătratice
ale acestora sunt egale cu valorile proprii ale matricii de corelaţie R :
E  ui  n   i , i  1,2,
2
,M (6.70)
 
Vom defini prin uN  n vectorul ale cărui componente se exprimă prin
uN ,i  n  i1 2ui  n , i  1,2, ,M (6.71)
Indicele N indică faptul că uN ,i  n este normat pentru o valoare unitară a puterii. Ecuaţiile
(6.71) pot fi grupate în ecuaţia vectorială
uN  n  Λ1 2u n (6.72)
unde matricea Λ este diagonală, fiind compusă din valorile proprii 1 , 2 , M . Se demon-
strează imediat, pornind de la faptul că Q este o matrice unitară, faptul că matricea de
corelaţie a vectorului transformat normat uN  n este
R N  e uN  n uNH  n  I M (6.73)
unde I M este matricea identitate de dimensiune M  M .
 METODE DE GRADIENT Probleme 173

Vectorul transformat normat se aplică la intrarea filtrului transversal modificat ce are

coeficienţii
wN  Λ1 2QH w (6.74)
Expresia de mai sus a coeficienţilor filtrului a fost aleasă pentru că aceasta furnizează la
ieşire semnalul yN  n  wNH uN  n ce este identic cu cel dat de filtrul originar
y  n  w H u  n . Într-adevăr
wNH uN  n  w H QΛ  Λ QH u  n  w H u  n
Ultimul rezultat indică faptul că alternativ filtrului ce are drept intrare u  n şi ieşire
y  n  w H u  n poate fi utilizat filtrul cu intrarea uN  n şi coeficienţi w N . Algoritmul
pantei descendente maxime pentru această realizare se scrie, conform (6.13), astfel:
wN  n  1   I M   R N  wN  n  p N (6.75)

unde p N  E wN  n d *  n (6.76)

Înlocuind (6.73) în relaţia (6.75), această ultimă relaţie se simplifică la
wN  n  1  1    wN  n   woN (6.77)

unde woN   R N  p N  p N .
1

Dacă comparăm relaţia (6.77) cu ecuaţia recursivă a algoritmului Newton (6.67), se

constată că în cazul vectorilor de date supuşi transformării Karhunen-Loève (TKL) şi
normării, acţiunea algoritmului SD este identică cu acţiunea algoritmului Newton asupra
vectorilor de date iniţiali (Farhang-Boroujeny 1998).
În concluzie se poate afirma că algoritmul Newton poate fi văzut ca un algoritm SD
pentru semnale de intrare transformate TKL (Ciochină şi Negrescu 1999). Problema
provocată metodei pantei descendente maxime de împrăştierea valorilor proprii ale matricii
de corelaţie este rezolvată prin decorelarea eşantioanelor de intrare în filtrul transversal (prin
transformarea corespunzătoare TKL) urmată de o procedură de normare în putere. Întreaga
operaţie poartă numele de procedură de albire; pentru că prin decorelare şi, apoi normare la
putere unitară înainte de operaţia propriu zisă de filtrare, aceste eşantioane capătă
caracteristicile unui zgomot alb de varianţă unitară.

Probleme
P 6.1 Să se arate că, dacă în algoritmul SD valoarea iniţială a vectorului coeficienţilor
w 0 este vectorul nul, atunci după n iteraţii el va fi egal cu

w  n   I   I  2 R   w o
n
 
unde w o reprezintă valorea optimă a vectorului coeficienţilor.
174 METODE DE GRADIENT - 6

P 6.2 Se consideră procesul autoregresiv (AR) de ordinul întâi u  n , descris prin ecuaţia
cu diferenţe finite:
u  n  au  n  1  v  n
unde a este parametrul AR al procesului, iar v  n este un zgomot alb de medie
nulă şi varianţă  v2 .
(a) Să se determine un predictor liniar de ordinul unu pentru calculul parametrului a .
Să se utilizeze metoda SD pentru calculul prin recursie al soluţiei Wiener pentru
parametrul a .
(b) Să se reprezinte curba de eroare pentru această problemă, identificând punctul de
minim al curbei în funcţie de parametrii cunoscuţi.
(c) Ce condiţie se impune pasului algoritmului  pentru ca acesta să fie stabil? Justi-
ficaţi răspunsul!
P 6.3 Se consideră un filtru Wiener cu doi coeficienţi caracterizat de următorii
parametrii:
1 0.8 2
R  şi p   
0.8 1  1 
unde R este matricea de corelaţie a intrării, u  n , iar p este vectorul de inter-
corelaţie dintre semnalul de intrare u  n şi ieşirea dorită d  n .
(a) Să se determine pentru pasul  intervalul de valori care asigură convergenţa
metodei SD. Să se specifice, dacă rezultatul obţinut este influenţat de vectorul de
intercorelaţie p .
(b) Utilizând MATLAB, să se ruleze algoritmul SD pentru parametrii
  0,05;0,1;0,5 şi 1 şi să se traseze traiectoriile corespunzătoare în planul
 w0 , w1  .
(c) Să se reprezinte grafic pentru   0,05 , separat, evoluţia coeficienţilor w0  k  şi
w1  k  în funcţie de indicele de iteraţie k  0,1, ,200 .
(d) Pe graficele obţinute la punctul (c) ar trebui să se observe că evoluţia fiecărui
coeficient este influenţată de două constante de timp diferite. Aceasta implică că
variaţia coeficienţilor poate fi descompusă în suma a două serii exponenţiale
distincte. Să se dea o explicaţie acestei observaţii.
P 6.4 Se consideră procesul u  n generat de modelul AR(3)
u  n  0,729u  n  3  v  n
 METODE DE GRADIENT Probleme 175

unde v  n este un zgomot alb de medie nulă şi varianţă unitară. Utilizând metoda
SD se proiectează un predictor linear al lui u  n definit prin
y  n  uˆ n Un-1   wo,1u n  1  wo,2u n  2  wo,3u n  3
(a) Determinaţi matricea de corelaţie R a lui u  n de dimensiune 3  3 şi calculaţi
valorile proprii 1 , 2 , 3 .
(b) Determinaţi vectorul de intercorelaţie p de dimensiune 3  1 .
(c) Alegeţi pasul SD  astfel încât răspunsul algoritmului să fie supraamortizat. Apoi
implementaţi algoritmul în MATLAB şi reprezentaţi traiectoriile coeficienţilor
filtrului wi  n
3
în funcţie de n.
i 1

(d) Repetaţi punctul (c), alegând pentru  o asemenea valoare încât răspunsul să fie
subamortizat.
P 6.5 Se consideră un filtru transversal având vectorul semnalului de intrare u  n şi
vectorul ponderilor w . Ieşirea y  n este dată de:
y  n  w H x  n
Definim vectorul u  n  R 1 2u  n unde R  E u  n u H  n . Fie u  n vectorul
de intrare într-un filtru al cărui semnal de ieşire se calculează cu relaţia
y  n  w H x  n
unde w este vectorul coeficienţilor noului filtru.
(a) Să se deducă o ecuaţie pentru coeficienţii w astfel încât ieşirile celor două filtre
y  n şi y  n să fie identice.
(b) Să se determine ecuaţia de recursie SD pentru vectorul ponderilor w .
(c) Să se deducă o relaţie care să demonstreze evoluţia coeficienţilor filtrului pe
măsură ce evoluează algoritmul SD determinat la punctul (b) .
(d) Determinaţi constantele de timp ale curbei de învăţare a algoritmului.
(e) Să se demonstreze că ecuaţia de recursie determinată la punctul (b) este
echivalentă cu algoritmul lui Newton.
P 6.6 Ecuaţia (6.53) defineşte comportarea tranzitorie a EPM J  n în cazul aplicării
algoritmului SD. Vom nota prin J  0 şi J  valoarea iniţială respectiv
valoarea finală a lui J  n . Vom aproxima răspunsul tranzitoriu printr-o singură
exponenţială astfel: J  n  J 0  J  e n 
 J  unde  este denumit
constantă de timp efectivă. Vom alege pe  astfel încât J 1  J 1 .
176 METODE DE GRADIENT - 6

Se cere să se arate că viteza iniţială de convergenţă a algoritmului SD definită ca

fiind inversa lui  , este dată de
1  J  0  J    
 ln 
  J 1  J  
 
Utilizând ecuaţia (6.53) determinaţi valoarea lui 1  . Presupuneţi că valoarea
iniţială w 0 este nulă iar pasul  este mic.
P 6.7 Ne propunem să evaluăm o altă modalitate de deducere a ecuaţiei (6.12) ce
defineşte algoritmul SD. Inversa unei matrici pozitiv definite se poate dezvolta în
serie astfel:

R 1     I   R 
k

k 0

unde I ete matricea identitate iar μ o constantă pozitivă. Pentru a asigura

convergenţa seriei, constanta μ trebuie să se situeze în domeniul
2
0 
max
unde max este cea mai mare valoare proprie a matricii R. Utilizând această
dezvoltare în serie a inversei matricii de corelaţie în ecuaţiile Wiener-Hopf,
dezvoltaţi ecuaţia de recursie
w  n  1  w  n    p  Rw  n
unde w  n este aproximarea soluţiei Wiener pentru vectorului coeficienţilor:

w  n     I   R  p
k

k 0
 7
Capitolul

7 Algoritmul gradientului
stochastic (LMS)
n acest capitol vom deduce, vom analiza performanţele şi vom prezenta câteva aplicaţii

Î practice ale algoritmului adaptiv LMS (Least Mean Squares – media pătratică minimă).
Denumirea „gradient stochastic” are scopul de a diferenţia algoritmul LMS de metoda
SD, care utilizează în calculul recursiv al filtrului Wiener un gradient calculat determinist.
Algoritmul LMS, introdus de Widrow şi Hoff Jr. (1960), împreună cu toate variantele sale
este cel mai larg utilizat în practică datorită simplităţii, eficienţei computaţionale şi perfor-
manţelor excelente, indiferent de condiţiile în care el este utilizat. Mai mult, el nu necesită
nici măsurarea sau calculul funcţiilor de corelaţie şi nici realizarea operaţiei de inversare a
matricii de corelaţie. Algoritmul gradientului stochastic reprezintă un standard în raport cu
care sunt comparate performanţele altor algoritmi de filtrare adaptivă.

7.1 Deducerea algoritmului LMS

Dacă ar fi posibilă măsurarea exactă a vectorului gradient J  n la fiecare iteraţie n şi
dacă parametrul  ar fi ales în mod convenabil, atunci vectorul ponderilor filtrului adaptiv
w  n calculat prin metoda SD ar converge într-adevăr către soluţia Wiener. În realitate,
măsurători exacte ale vectorului gradient nu sunt posibile pentru că ar necesita cunoaşterea
apriori atât a matricii R cât şi a răspunsului dorit, d  n . Drept urmare, vectorul gradient
trebuie să fie estimat pe baza datelor disponibile.
Pentru a dezvolta o estimare a vectorului gradient J  n , strategia cea mai evidentă
este de a substitui estimările matricii de corelaţie R şi ale vectorului de intercorelaţie p din
formula (6.9), utilizată în metoda SD a gradientului suprafeţei de eroare:
J  n  2p  2Rw  n  2E u  n d * n  2E u nu H n w n (7.1)
Cea mai simplă alegere a estimatorilor pentru R şi p utilizează estimatele instantanee ale
acestora bazate pe valorile instantanee ale vectorului semnalului de intrare u  n şi ale
178 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

răspunsului dorit d  n , aşa cum sunt definite, în urma renunţării la operaţia de mediere
statistică, prin:
Rˆ  n  u  n u H  n (7.2)
şi respectiv pˆ  n  u  n d *  n (7.3)
În mod corespunzător, estimatul instantaneu al vectorului gradient este:
ˆ J  n  2u  n d *  n  2u nu H n w
 ˆ  n (7.4)
ˆ  n
În general, estimatul este deplasat, din cauză că estimatul vectorului coeficienţilor w
este un vector aleator care depinde de vectorul semnal de intrare u  n . De observat, că esti-
matul ˆ J  n poate fi, de asemenea, văzut ca operatorul gradient  aplicat erorii pătratice
instantanee e  n  .

Înlocuind estimata din ecuaţia (7.4) a vectorul gradient J  n în algoritmul de pantă

descendentă maximă (vezi Capitolul 6) descris prin ecuaţia:
1
w  n  1  w  n    J  n (7.5)
2
se obţine noua relaţie de recursie pentru actualizarea vectorului coeficienţilor filtrului
adaptiv:
ˆ  n  u  n  d *  n   u H  n  w
ˆ  n  1  w
w ˆ
(7.6)
ˆ  n  u  n e*  n
w
unde  este pasul algoritmului LMS. S-a utilizat simbolul căciulă aşezat deasupra
simbolului vectorului coeficienţilor w ˆ  n pentru a realiza distincţia dintre valoarea curentă
şi cea obţinută prin algoritmul SD. În mod echivalent, rezultatul poate fi scris sub forma a
trei relaţii de bază care sintetizează acţiunea algoritmului LMS, după cum urmează:
1. Calculul semnalului de ieşire al filtrului:
y  n  w
ˆ H  n u  n (7.7)
2. Calculul erorii de estimare:
e  n  d  n  y  n (7.8)
3. Actualizarea (recursia) coeficienţilor filtrului adaptiv:
ˆ  n  1  w
w ˆ  n  u  n e*  n (7.9)
Ecuaţiile (7.7) şi (7.8) definesc eroarea de estimare e  n  , a cărui calcul se bazează pe
ˆ  n . De observat de asemenea
estimarea curentă (eroare apriori) a vectorului ponderilor w
că cel de-al doilea termen u  n e*  n din membrul drept al ecuaţiei (7.9) reprezintă
 7.1 Deducerea algoritmului LMS 179

Figura 7.1 Reprezentarea grafică a algoritmului LMS.

ˆ  n . Procedura
corecţia ce se aplică asupra estimării curente a vectorului coeficienţilor w
ˆ  0 .
iterativă porneşte de la o estimare iniţială w
Algoritmul descris de ecuaţiile (7.7)-(7.9) reprezintă forma complexă a algoritmului
adaptiv LMS. La fiecare iteraţie sau actualizare a vectorului coeficienţilor, el necesită
cunoaşterea celor mai recente valori u  n , d  n şi wˆ  n . Algoritmul LMS face parte din
familia algoritmilor de gradient stochastic. În particular, atunci când algoritmul LMS
operează asupra unui set de semnale aleatoare, setul permis de direcţii pe care algoritmul
adaptiv le adoptă de la o recursie la alta este destul de aleator, astfel încât acestea nu pot fi
privite ca fiind direcţiile adevărate ale gradientului. De aici, explicaţia denumirii pe care o
aplicăm acestei categorii de algoritmi adaptivi.
Figura 7.1 prezintă graful algoritmului LMS sub forma unui model cu reacţie. Acest
model se aseamănă cu modelul utilizat pentru descrierea algoritmului SD. Graful ilustrează
simplitatea extremă a algoritmului LMS. În particular, din figură rezultă, că algoritmul
necesită doar 2M  1 multiplicări complexe şi 2M adunări complexe pe iteraţie, unde
M este numărul de coeficienţi ai filtrului transversal adaptiv. Cu alte cuvinte, complexitatea
de calcul a algoritmului LMS este 0  M  .
Estimările instantanee ale lui R şi p date prin ecuaţiile (7.2) şi (7.3) au varianţe relativ
importante. La prima vedere, drept urmare, se poate face observaţia că algoritmul LMS este
incapabil de performante bune întrucât utilizează estimări instantanee. Totuşi, să ne reamin-
tim, că algoritmul gradientului stochastic este prin natura lui recursiv, ceea ce are drept
consecinţă faptul că algoritmul însuşi face efectiv media acestor estimări pe parcursul adap-
tării. Sistemul adaptiv controlat de algoritmul de gradient stochastic este prezentat în Figura
180 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

Figura 7.2 Filtrul adaptiv LMS

7.2. În Tabelul 7.1 sunt rezumate operaţiunile necesare implementării algoritmului LMS
(Ciochină şi Negrescu 1999).

7.2 Analiza performanţelor algoritmului

LMS
7.2.1 Convergenţa în medie a vectorului coeficienţilor
În continuare, vom studia stabilitatea şi performanţele în regim staţionar ale algoritmului
LMS în ipoteza în care semnalul de intrare u  n şi răspunsul dorit d  n sunt procese
aleatoare staţionare mutual. În acest caz, vectorul optim al coeficienţilor filtrului Wiener
optimal, w o , este fixat şi poate fi stabilit în conformitate cu ecuaţiile Wiener Hopf (4.30).
Scăzând w o din cei doi membri ai ecuaţiei (7.9), se obţine
cˆ  n  1  cˆ  n  e*  nu  n (7.10)
unde cˆ  n  w
ˆ  n  wo este vectorul de eroare al coeficienţilor. Pentru eroarea de ieşire a
filtrului, e  n  , putem, de asemenea, scrie
ˆ  n   d  n  u H  n w o   u H n  w
e  n  d  n  u H  n w ˆ n  w o 
(7.11)
 eo  n  u H  n cˆ  n
unde eo  n este eroarea de estimare atunci când ponderile filtrului sunt optimale:
 7.2 Analiza performanţelor algoritmului LMS 181
Tabelul 7.1 Algoritmul LMS

1. Se iniţializează variabila contor a ciclului  n  0  şi se atribuie o

valoare iniţială pentru vectorul coeficienţilor (de obicei w ˆ  0 ). Se
alege corespunzător constanta  .
2. Se calculează ieşirea curentă a filtrului:
y  n  wˆ H  n u  n
3. Se determină eşantionul curent al semnalului de eroare:
e  n  d  n  y  n
4. Se calculează vectorul ponderilor pentru pasul următor:
ˆ  n  1  w
w ˆ  n   u  n e*  n
5. Se incrementează variabila contor  n  n  1 şi se execută salt la
2.

eo  n  d  n  u H  n wo (7.12)
Înlocuind (7.11) în ecuaţia (7.10), se obţine în urma rearanjării
cˆ  n  1   I  u  nu H  n cˆ  n  eo*  nu  n (7.13)
unde I este matricea identitate. Prin aplicarea operatorului de mediere statistică ambilor
termeni ai ecuaţiei (7.13), se obţine
E cˆ  n  1  E  I  u  n u H  n cˆ  n   E eo*  n u  n 
(7.14)
 E  I  u  n u H  n cˆ  n
unde ultima egalitate rezultă din faptul că, în conformitate cu principiul ortogonalităţii,
E eo*  n u  n  0 .
Principala dificultate pe care o întâmpină orice analiză mai elaborată a membrului drept
al ecuaţiei (7.14) este evaluarea momentului de ordinul trei al vectorului
E u  n u H  n cˆ  n , ceea ce, în general, este o sarcină matematică dificilă. Pentru a depăşi
această dificultate matematică, cercetătorii au adoptat diferite strategii. Cele mai multe dintre
aceste abordări presupun că eşantioanele de date curente ( u  n , d  n ) sunt independente de
observaţiile anterioare ( u  n  1 , d  n  1 ),( u  n  2 , d  n  2 ),...; vezi de exemplu Feuer
şi Weinstein (1985) şi Farhang-Boroujeny (1998). Această abordare se numeşte Ipoteza de
Independenţă. Conform ipotezei, putem argumenta că, întrucât cˆ  n  depinde numai de
observaţiile anterioare ( u  n  1 , d  n  1 ),( u  n  2 , d  n  2 ,...,) el este independent în
raport cu u  n , astfel încât
E u  n u H  n cˆ  n  E u  nu H  n E cˆ n (7.15)
182 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

De fapt, în cele mai multe din cazurile practice, ipoteza de independenţă este
discutabilă. De exemplu, vectorii de intrare u  n şi u  n  1 au M  1 termeni comuni din
M . Cu toate acestea, practica algoritmului LMS a arătat că presupunerile făcute pe baza
ipotezei de independenţă se armonizează bine cu simulările făcute pe calculator şi cu
performanţele algoritmului LMS în practică. Vom încerca o explicaţie pentru această
situaţie în cele ce urmează.
ˆ  n este afectat de toată evoluţia
La orice moment de timp, vectorul coeficienţilor w
eşantioanelor observate ( u  n  1 , d  n  1 ),( u  n  2 , d  n  2 ),... Atunci când pasul
ˆ  n
algoritmului  este mic, ponderea ultimelor M observaţii în valoarea actuală a lui w
este redusă, şi astfel putem afirma că u  n şi w ˆ  n sunt slab dependente. Rezultatul
evident al afirmaţiei este că relaţia (7.15) poate fi acceptată cu un anumit grad de
aproximare. Oricum, acest gen de raţionament poate fi acceptat mai uşor decât ipoteza de
independenţă. Indiferent de aceste consideraţii, analiza algoritmului LMS, pe care o facem
în continuare, se bazează pe (7.15) şi alte aproximări similare.
Înlocuim (7.15) în ecuaţia (7.14), pentru a obţine:
E cˆ  n  1   I   R  E cˆ  n (7.16)

unde R  E u  n u H  n este matricea de corelaţie a vectorului de date u  n .

Comparaţia ecuaţiilor de recursie (7.16) şi (6.20) indică faptul că acestea sunt exact de
aceiaşi formă matematică. Vectorul determinist de eroare cˆ  n  al coeficienţilor filtrului din
(6.20) obţinut prin metoda SD este înlocuit prin media statistică a vectorului de eroare
E cˆ  n a coeficienţilor filtrului LMS. Ultima observaţie sugerează că, în medie,
algoritmul LMS se comportă identic cu metoda pantei descendente maxime. În consecinţă,
convergenţa algoritmului LMS este direct legată de împrăştierea valorilor proprii ale
matricii de corelaţie R . Mai mult, reamintindu-ne de relaţia dintre gradul de împrăştiere a
valorilor proprii ale lui R şi densitatea spectrală de putere a semnalului u  n , observăm că
convergenţa algoritmului LMS este legată direct de gradul de aplatizare a spectrului de
putere al semnalului de intrare.
În particular, vectorul de eroare a coeficienţilor cˆ  n  se apropie de zero, dar execută
mici fluctuaţii în jurul acestei valori. Aceste observaţii confirmă formal faptul că vectorul
convergent al coeficienţilor filtrului LMS poate fi modelat ca în Figura 7.3.
Dacă se urmăreşte o procedură similară ca în Capitolul 6, manipularea relaţiei (7.16)
conduce la concluzia că E cˆ  n tinde către zero dacă pasul algoritmului LMS  , verifică
inegalitatea:
2
0  (7.17)
max
 7.2 Analiza performanţelor algoritmului LMS 183

Filtru Wiener d  n
wo

u  n y  n e  n
  

Filtru stochastic
cˆ  w
ˆ  wo

Figura 7.3 Model al algoritmului LMS

unde max este cea mai mare valoare proprie a lui R . Totuşi, vom sublinia aici că
îndeplinirea inegalităţii (7.17) nu garantează, în mod necesar, stabilitatea algoritmului LMS.
Convergenţa algoritmului LMS presupune convergenţa în medie a lui w ˆ  n către w o şi,
ˆ  n către anumite valori limită.
de asemenea, convergenţa varianţei componentelor lui w
După cum vom arăta în continuare, pentru a garanta stabilitatea algoritmului LMS,
valabilitatea relaţiei (7.17) devine discutabilă.
Exemplul 7.1: Algoritmul LMS cu „pierderi” (leaky-LMS) este caracterizat de
ecuaţia (Diniz 2008, Håkansson 2004):
ˆ  n  1  1    w
w ˆ  n  u  n e*  n (7.18)
unde 0   1 . Se cere:
a. Să se calculeze domeniul valorilor lui  necesar pentru a asigura conver-
genţa în medie a coeficienţilor.
b. Care este expresia funcţiei de cost J l  n pe care o minimizează acest
algoritm.
c. Ce se întâmplă cu coeficienţii filtrului adaptiv în situaţia în care eroarea
şi/sau semnalul de intrare devin nule.
Soluţie:
a. Dezvoltăm expresia erorii din ecuaţia de ajustare a coeficienţilor algorit-
mului leaky-LMS:
ˆ  n  u  n  d *  n  u H  n w
ˆ  n  1  1    w
w ˆ  n 

 I    u  n u H  n   I   w
ˆ  n  u  n  d *  n 
Aplicăm în continuare ultimei expresii operatorul de mediere:
ˆ  n  1  I    R   I  E w
E w ˆ  n  p
184 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

Apariţia lui  în prima expresie este echivalentă cu adăugarea la semnalul

de intrare u  n a unui zgomot alb, astfel încât la valorile proprii ale
matricii de corelaţie R să se adauge valoarea  . Drept urmare, condiţia
de stabilitate în medie statistică a coeficienţilor se exprimă prin:
2
0 
max  
Coeficienţii converg către o soluţie „deplasată” (în engleză – biased) în
raport cu soluţia optimală Wiener, fiind daţi de:
ˆ  n   R   I  p pentru n  
1
E w
b. Ecuaţia (7.18) poate fi rescrisă într-un format care să permită identi-
ficarea expresiei gradientului funcţiei de cost J l  n :
ˆ  n     w
ˆ  n  1  w
w ˆ  n  u  n e*  n
(7.19)
ˆ  n    w
w ˆ  n 
ˆ  n  d *  n u  n  u  nu H  n w
Dacă comparăm ultima expresie cu relaţia (7.5) care defineşte metoda SD,
rezultă că gradientul căutat este definit prin:
ˆ  n  2u  n  d *  n  u H  n  w
wˆ  J l  n  2 w ˆ  n 
ˆ  n  2u  n e*  n
 2 w
Prin urmare, funcţia de cost care este supusă minimizării în algoritmul
leaky-LMS este:
J l  n  e  n   w
ˆ  n
2 2

c. În condiţiile în care semnalul de intrare (sau eroarea) sunt anulate după

câteva iteraţii iniţiale, ecuaţia de actualizare (7.18) are excitaţii nule.
Întrucât valorile proprii ale matricii de tranziţie I    u  n u H  n   I 
sunt mai mici decât unu, atunci coeficienţii filtrului adaptiv vor tinde către
zero, pe măsură ce n   .

7.2.2 Ipoteze utilizate în studiul comportării erorii

pătratice medii a algoritmului LMS
Vom studia, în continuare, evoluţia lui J  n  E  e  n  pe măsură ce algoritmul LMS
2

 
evoluează. Vom folosi rezultatele comunicate de Feuer şi Weinstein (1985) şi reluate apoi în
tratatele scrise de Haykin (1996) şi Farhang-Boroujeny (1998). Vom urmări direct,
condiţiile în care are loc convergenţa algoritmului LMS. Presupunerile pe care ne bazăm
sunt următoarele:
 7.2 Analiza performanţelor algoritmului LMS 185

1. Secvenţa de intrare u  n şi secvenţa de răspuns dorit d  n sunt procese

aleatoare staţionare de medie nulă.
2. Secvenţele aleatoare u  n şi d  n constau din variabile aleatoare cu distribuţie
mutual gaussiană.
ˆ  n este
3. La momentul de timp n , vectorul ponderilor filtrului adaptiv w
independent atât în raport cu vectorul de intrare u  n cât şi cu semnalul dorit
d  n .
Validitatea ultimei ipoteze este justificată, aşa cum s-a discutat în paragraful anterior
atunci când pasul algoritmului  este mic. Aceasta este Ipoteza de Independenţă. Prima
presupunere simplifică mult analiza, în timp ce a doua conduce la simplificări în rezultatul
final, întrucât momentele de ordinul trei şi patru care apar pe parcursul calculelor pot fi
exprimate prin intermediul momentelor de ordinul doi în cazurile în care variabilele
aleatoare care intervin au o distribuţie mutual gaussiană.

7.2.3 Curba de învăţare a algoritmului LMS

Calculăm eroarea pătratică medie la ieşirea filtrului adaptiv LMS, pornind de la relaţia
(7.11):
e  n  eo  n  cˆ H  n u  n (7.20)
Pentru a obţine eroarea pătratică medie (EPM), multiplicăm cu conjugata ambii
membrii ai relaţiei (7.20) şi aplicăm operatorul de mediere:
J  n  E  e  n    E  eo  n    E  cˆ H  n  u  n  
2 2 2

      (7.21)
 E eo  n  u H  n  cˆ  n   E eo*  n  cˆ H  n  u  n 
Cel de-al doilea termen din membrul drept al ecuaţiei (7.21) se calculează, pe baza ipotezei
de independenţă şi a egalităţii cˆ H  n u  n  u H  n cˆ  n , astfel:

E  cˆ H  n u  n   E cˆ H  n u  n  u H  n  cˆ  n 
2

 
(7.22)
 E cˆ H  n E u  n  u H  n  cˆ  n   E cˆ H  n  Rcˆ  n 

Observând că E  cˆ H  n u  n  este un scalar şi, făcând apel la relaţia (7.22), se scrie în

2

 
continuare

E  cˆ H  n u  n   tr  E  cˆ H  n u  n     tr  E cˆ H  n  Rcˆ  n  

2 2

     
(7.23)
 E  tr cˆ H  n Rcˆ  n 
186 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

unde tr  reprezintă urma unei matrici, iar în scrierea ultimei egalităţi am utilizat
proprietatea operatorilor lineari „urmă” şi „medie” de a putea fi schimbaţi între ei. Acest
rezultat poate fi simplificat mai mult dacă folosim un rezultat din algebra matricială şi
anume că pentru orice pereche de matrici A şi B de dimensiuni N  M respectiv M  N
se poate scrie
tr  AB  tr BA (7.24)
Utilizarea identităţii (7.24) conduce la:
E  tr cˆ H  n Rcˆ  n   E  tr cˆ H  ncˆ  n R    tr  E cˆ H  ncˆ  n R  (7.25)

În aceste condiţii, definim matricea de corelaţie a vectorului de eroare a coeficienţilor cˆ  n 

prin
K  n  E cˆ  n cˆ H  n (7.26)
şi rezultatul din (7.25) se reduce la
E  cˆ H  n u  n   tr K  n R 
2
(7.27)
 
Utilizând ipoteza de independenţă şi observând că eo  n este un scalar, ultimul termen
din membrul drept al relaţiei (7.21) se calculează astfel:
E eo*  n cˆ H  n u  n  E cˆ H  n u  n  eo*  n 
(7.28)
 E cˆ H  n E u  n  eo*  n    0
unde ultimul pas rezultă din principiul ortogonalităţii care afirmă că eroarea de estimare
optimă şi eşantioanele de semnal de la intrarea unui filtru Wiener sunt ortogonale
(necorelate), adică E u  n eo*  n  0 . Similar,

E eo  n u H  n cˆ  n  0 (7.29)

Înlocuind relaţiile (7.27), (7.28) şi (7.29) în (7.21), se obţine
J  n  E  e  n   J min  tr  RK  n
2
(7.30)
 

unde J min  E  eo  n  este eroarea pătratică medie (EPM) minimă a ieşirii filtrului.
2

 
În vederea unei analize mai detailate, acest ultim rezultat poate fi pus într-o formă mai
convenabilă, dacă ne reamintim că în Capitolul 3 matricea de corelaţie R s-a descompus
astfel
R  QΛQH (7.31)
 7.2 Analiza performanţelor algoritmului LMS 187

unde Q este matricea de dimensiune M  M a cărei coloane sunt vectorii proprii ai matricii
R iar Λ este matricea diagonală alcătuită din valorile proprii 1 , 1 , , M ale lui R . Prin
introducerea lui (7.31) în relaţia (7.30) şi utilizarea identităţii (7.24), se obţine
J  n  J min  tr  ΛX n (7.32)
unde X n  QH K  n Q . În plus, utilizând (7.26) şi relaţia (6.47) v  n  QH c  n din
Capitolul 6, matricea X  n poate fi definită prin
X  n  E  vˆ  n vˆ H  n (7.33)

unde vˆ  n  QH cˆ  n este vectorul de eroare a coeficienţilor în coordonatele definite de

vectorii proprii ai lui R .
Observând că Λ este o matrice diagonală, relaţia (7.32) se exprimă astfel:
M
J  n  J min   i xii  n (7.34)
i 1

unde xii  n este elementul i de pe diagonala matricii X  n .

Reprezentarea graficului J  n în funcţie de indicele de timp n , definită prin (7.30) sau
prin formele alternative (7.32) sau (7.34) este denumită curba de învăţare a algoritmului
LMS (Farhang-Boroujeny 1998 şi Manolakis, ş.a. 2005). Aceasta este asemănătoare cu
curba de învăţare a metodei SD, pentru că, în conformitate cu observaţiile din paragraful
anterior, algoritmul LMS urmăreşte în medie aceiaşi traiectorie cu metoda SD. Variaţiile
coeficienţilor filtrului datorate zgomotului, introduc în cazul algoritmului LMS o eroare
adiţională, J ex  n , şi plasează curba sa de învăţare mai sus decât curba metodei SD. Totuşi,
atunci când pasul  al algoritmului LMS este redus (ceea ce în practică este obişnuit),
diferenţa dintre cele două curbe poate fi observabilă doar atunci când metodele au realizat
convergenţa iar curbele s-au apropiat de valorile lor finale.

7.2.4 Evoluţia matricii de corelaţie a erorii

coeficienţilor
Matricea de corelaţie a erorii coeficienţilor K  n joacă un rol important în studiul algorit-
mului LMS. Relaţia (7.30) indică că J  n este legat direct de K  n . Această ecuaţie impli-
că faptul că, dacă valorile elementelor acestei matrici rămân mărginite atunci când n creşte,
stabilitatea algoritmului LMS este garantată.
Pentru a calcula K  n , vom postmultiplica mai întâi ambii termeni ai ecuaţiei de recur-
sie (7.13) cu hermiticele lor respective iar apoi vom aplica operatorul de mediere statistică
rezultatelor obţinute:
188 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

K  n  1  E cˆ  n  1 cˆ H  n  1

 E  I   u  n  u H  n  cˆ  n  cˆ H  n   I  u  n  u H  n  
H

 
  E  I   u  n  u H  n  cˆ  n  eo  n  u H  n  (7.35)

  E u  n  eo*  n  cˆ H  n   I   u  n  u H  n  
H

 
  2 E u  n  eo*  n  eo  n  u H  n 

Din ipotezele de independenţă, eo  n este independentă faţă de cˆ  n  şi u  n . Prin urmare,

al doilea şi al treilea termen din (7.35) dispar, iar cel de al patrulea este egal cu  2 J min R .
Dacă dezvoltăm primul termen din (7.35), se obţine:
K  n  1  K  n    RK  n  K  n R    2 A   2 J min R (7.36)

unde: A E u  n u H  ncˆ  ncˆ H  nu  nuT  n (7.37)

iar termenii RK  n şi K  n R sunt obţinuţi prin utilizarea independenţei mutuale a

mărimilor u  n , cˆ  n  şi eo  n .
Calculul matricii A poate fi simplificat dacă se adoptă unele ipoteze suplimentare refe-
ritoare la proprietăţile statistice ale lui u  n . După cum a arătat Gardner (1984), dezvoltarea
unei relaţii de recursie pentru elementele lui K  n prin utilizarea numai a ipotezelor de
independenţă necesită produse şi inversări de matrici de dimensiune M 2  M 2 , M fiind
dimensiunea vectorului u  n .
Dacă Gardner (1984) a evaluat acest termen în ipoteza că secvenţa u  n este IID, foarte
plauzibilă în cazul transmisiunilor de date, în cazul unei distribuţii gaussiene a datelor, care
caracterizează foarte bine semnalele vocale, calculele au fost făcute de Rupp (1993).
Presupunând că secvenţa u  n de medie nulă şi matrice de corelaţie R este normal
distribuită, se pot face o serie de simplificări. Într-adevăr, în acest caz se poate utiliza
proprietatea de factorizare a variabilelor aleatoare normal distribuite pentru a exprima
momentele de ordinul patru (Papoulis 1991). Astfel, dacă z1 , z2 , z3 şi z4 sunt variabile alea-
toare complexe, de medie aleatoare nulă şi distribuite mutual gaussian, atunci
E  z1 z2* z3 z4*   E  z1 z2*  E  z3 z4*   E  z1 z4*  E  z2* z3  (7.38)
Înlocuind direct (7.38) în (7.37), se poate arăta (Manolakis, ş.a. 2005) că
A  RK  n R  R tr  RK  n (7.39)
În final, înlocuind (7.39) în (7.36) se obţine ecuaţia stochastică cu diferenţe finite pentru
K  n :
 7.2 Analiza performanţelor algoritmului LMS 189

K  n  1  K  n    RK  n  K  n R 
(7.40)
 
  2 RK  n R  R tr  RK  n   2 J min R

Prezenţa termenului  2 J min R în (7.40) are drept consecinţă faptul că K  n nu va

deveni nul în nicio condiţie, şi drept urmare, coeficienţii filtrului LMS adaptiv vor fluctua
întotdeauna în jurul valorilor optime, ceea ce împiedică convergenţa.
O simplificare importantă a analizei se realizează dacă trecem de la K  n la matricea
X  n definită prin relaţiile (7.31) şi (7.33). Dacă pre- şi postmultiplicăm (7.40) cu Q H
respectiv Q şi folosim egalităţile QH Q  QQH  I , se obţine:
X  n  1  X  n    ΛX  n  X  n Λ 
(7.41)
 
  2 ΛX  n Λ  Λ tr  ΛX  n   2 J min Λ
Simplificările se bazează pe faptul că Λ este o matrice diagonală. Elementele oricărei
matrici X  n simetrică şi pozitiv definită satisfac, oricare ar fi valorile lui i şi j , relaţiile
xij  n  xii  n x jj  n . Prin urmare, convergenţa elementelor diagonale ale lui X  n este
2

suficientă pentru a asigura convergenţa tuturor elementelor sale. Această observaţie

împreună cu relaţia (7.41) sugerează că pentru a analiza algoritmului va trebui să studiem
din (7.41) ecuaţiile elementelor diagonale ale matricii X  n incluse în vectorul x  n :

x  n   x11  n x22  n xMM  n

T
(7.42)
Se poate arăta uşor că ecuaţia recursivă a vectorului x  n este:
x  n  1  Bx  n   2 J min λ (7.43)
unde B Ρ  λ    2 λλT (7.44)

λ  1 2 M 
T
(7.45)
Ρ  λ  diag  1 , 2 , M 
(7.46)
k  1  k   0, 1  k  M
2

Matricea B de dimensiune M  M este reală, pozitiv definită şi simetrică, de elemente

1  i  , i  j
 2

bij   2 (7.47)
  i  j ,
 i j
Ecuaţia stochastică cu diferenţe finite (7.43) poate fi utilizată la studiul stabilităţii
algoritmului LMS. Aceasta este garantată dacă elementele lui x  n rămân mărginite odată
cu creşterea lui n . Condiţia necesară şi suficientă este ca toate valorile proprii ale matricii
B să fie subunitare. Feuer şi Weinstein (1985) au dat, pe această bază condiţiile de
190 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

stabilitate. În lucrarea noastră, vom stabili condiţiile de stabilitate într-un mod indirect după
ce vom determina expresii convenabile pentru EPM în exces şi dezadaptare.

7.2.5 Eroarea pătratică medie în exces şi

dezadaptarea
ˆ  n se apropie de valoarea
Chiar şi în condiţiile în care vectorul coeficienţilor filtrului w
optimală w o , iar media gradientului pătratului erorii J  n tinde către zero, valoarea
instantanee a acestui gradient poate să nu fie nulă. Există, prin urmare, o perturbaţie a vecto-
ˆ  n în jurul valorii sale optimale w o , chiar şi după ce algoritmul a
rului coeficienţilor w
realizat convergenţa. Aceasta, la rândul său, măreşte EPM a algoritmului LMS la un nivel ce
se situează peste valoarea minimă a acestei erori care este obţinută pentru coeficienţii
filtrului Wiener. Această eroare suplimentară este denumită eroare pătratică medie în exces.
Cu alte cuvinte, EPM în exces a unui filtru adaptiv J exc , este definită drept diferenţa dintre
EPM a filtrului în regim staţionar J  , şi EPM minimă J min . Din relaţiile (7.30), (7.34),
(7.42) şi (7.45) scriem:
J exc  J    J min
M (7.48)
 tr  RK     i xii    λ T x  
i 1

Atunci când algoritmul LMS este convergent, x  n converge către o valoare de regim
permanent mărginită şi putem spune că x  n  1  x  n , atunci când n   . Cu această
observaţie, din ecuaţia (7.43) se obţine
x  n   2 J min  I  B  λ
1
(7.49)
Înlocuim ultima expresie în (7.48) pentru a avea:
J exc   2 J min λT  I  B  λ
1
(7.50)
În primul rând să remarcăm că J exc este proporţional cu J min , observaţie intuitiv de
ˆ  n se situează într-o vecinătate a lui w o , varianţa
înţeles, dacă se remarcă că atunci când w
elementelor vectorului gradientului erorii este proporţională cu J min . De asemenea, ca şi
J min , J exc este o putere. Pentru a avea o măsură absolută a degradării datorate lui J exc , se
obişnuieşte să se normeze J exc la J min . Rezultatul poartă numele de dezadaptare
(misadjustment) şi este notat prin M :
J exc
  2 λT  I  B  λ
1
M  (7.51)
J min
Structura specială a matricei  I  B  ne permite să-i stabilim inversa.
Remarcăm din (7.44) şi (7.46) că
 7.2 Analiza performanţelor algoritmului LMS 191

I  B  diag 1  1 ,1  2 , ,1  M    2 λλT (7.52)

Pentru a inversa matricea  I  B  , facem apel la Lema de inversare matricială (vezi
Capitolul 10), care, pentru o matrice A de dimensiune M  M , un vector a de lungime
M şi un scalar  , afirmă că:
 A1aa H A1
 A   aa 
1
H
 A 1  (7.53)
1   a H A 1a
Identificăm în (7.53) A  diag 1  1 ,1  2 , ,1  M  , a  λ şi   - 2 , aflăm inversa
lui  I  B  , înlocuim rezultatul în definiţia (7.51), şi, după câteva manipulări directe, se
obţine
M
i
 2  
i 1
M  i
(7.54)
M
i
1 
i 1 2  i

Este util să simplificăm acest rezultat prin câteva aproximări adecvate, astfel încât
rezultatul să poată fi utilizat la alegerea pasului algoritmului,  . În practică se obişnuieşte să
se aleagă o astfel de valoare pentru  încât să se realizeze o dezadaptare M de 10%
( M  0,1 ) sau chiar mai mică. În cazul considerat, se poate face simplificarea
M
i  M

 2  
i 1

2
i 1
i 
2
tr  R  (7.55)
i

Justificarea aproximării este dată de observaţia că pentru valori mici ale lui M , suma din
membrul stâng al lui (7.55) este, de asemenea mică. Mai mult, pentru o valoare mică a lui
M , se poate face aproximarea 2  i  2, 1  i  M , iar numitoarele termenilor din
sumele aflate în membrul drept al ecuaţiei (7.54) dispar. Se obţine astfel
 tr  R 
M  (7.56)
2   tr  R 
În plus, se observă că pentru valori mici ale lui M , de exemplu M  0,1 , valoarea expre-
siei  tr  R  este, de asemenea, mică, şi astfel ea poate fi ignorată la numitorul relaţiei
(7.56) pentru a da aproximarea:

M  tr  R  (7.57)
2
Ultima ecuaţie este extrem de convenabilă în practică, întrucât tr  R  este egală cu
suma puterii eşantioanelor de semnal de la intrarea filtrului. Aceasta poate fi uşor măsurată
şi folosită la alegerea pasului algoritmului,  , astfel încât să se realizeze un anumit nivel al
dezadaptării. Mai mult, atunci când procesul de la intrarea filtrului nu este staţionar,
192 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

estimarea pentru tr  R  poate fi actualizată recursiv iar pasul algoritmului  , ales astfel
încât să menţină un anumit nivel de dezadaptare.

7.2.6 Stabilitatea algoritmului LMS

În Capitolul 6 am arătat că pentru metoda SD, limitele între care poate lua valori pasul algo-
ritmului  este dependentă de proprietăţile statistice ale procesului aleator de la intrare.
Condiţia a fost reluată în acest Capitol la studiul convergenţei în medie a coeficienţilor filtru-
lui LMS prin relaţia (7.17). Ne aşteptăm, totuşi, ca examinarea erorii pătratice medii a filtru-
lui să stabilească limite mai restrictive în ceea ce priveşte valoarea lui  . Pentru a determina
limita superioară a lui  , care garantează stabilitatea algoritmului LMS, vom examina în
detaliu relaţia de calcul al dezadaptării (7.54).
Definim:
M
i
 (7.58)
i 1 2  i

şi notăm că

M  (7.59)
1 
De observat că noua variabilă este o funcţie strict crescătoare de  , întrucât:
 M i
 (7.60)
 i 1  2  i 2
Similar, se poate arăta că M este o funcţie crescătoare de  . În consecinţă, dezadaptarea
M definită prin (7.54) este, de asemenea, o funcţie crescătoare de  . Astfel, pornind de la
0, limita inferioară a parametrului  , şi crescând pe  , găsim că atât  cât şi M pornesc
de la zero şi cresc odată cu  . Se remarcă că, pe măsură ce  se apropie de unu, M tinde
la infinit. Această condiţie coincide evident cu limita superioară a lui  , valoare sub care
trebuie să se situeze pasul algoritmului, dacă se doreşte asigurarea stabilităţii acestuia.
Astfel, valoarea maximă a lui  se obţine în urma stabilirii primei rădăcini pozitive a
ecuaţiei:
M
i
 1 (7.61)
i 1 2  i

Rezolvarea exactă a ecuaţiei(7.61) se dovedeşte a fi în general, o problemă matematică

dificilă. În plus, din punct de vedere practic, o asemenea soluţie nu e rentabilă, având în
vedere că aceasta depinde, într-un manieră complicată, de statistica semnalului de intrare.
Vom calcula în continuare marginea superioară a valorilor lui  , care depinde numai de
   tr  R  , o mărime uşor de măsurat în practică. Vom utiliza pentru început observa-
M
i 1 i
ţia din Farhang-Boroujeny (1998) că, orice valoare a lui  care satisface ecuaţia
 7.2 Analiza performanţelor algoritmului LMS 193

M
  i
i 1
M
1 (7.62)
2    i
i 1

satisface şi inegalitatea
M
i
 1 (7.63)
i 1 2  i

În plus, orice valoare a lui  situată între zero şi soluţia ecuaţiei (7.62) satisface condiţia
(7.63). Consecinţa este că (7.62) stabileşte o limită superioară pentru  suficientă pentru
stabilitatea algoritmului LMS, dar care, în general, nu este necesară. Notând prin max solu-
ţia lui (7.62), se obţine:
1 1
max   (7.64)
M
tr  R 
 i
i 1

În concluzie, algoritmul LMS rămâne stabil, dacă

1
0  (7.65)
tr  R 
o condiţie mult mai restrictivă decât cea bazată pe convergenţa în medie a coeficienţilor
filtrului LMS către valorile lor optimale, ecuaţia (7.17). Să mai remarcăm că (7.65)
constituie o condiţie suficientă dar nu necesară pentru stabilitate. Avantajul acestei soluţii
este acela că ea poate fi măsurată uşor din eşantioanele de semnal de la intrarea filtrului.

7.2.7 Reguli practice de implementare a algoritmului

LMS
Condiţia de convergenţă a algoritmului LMS exprimată prin relaţia (7.65) poate fi reformu-
lată pornind de la proprietăţile remarcabile pe care le are o matrice de corelaţie. Aceasta este
o matrice Toeplitz, pozitiv definită, având toate elementele de pe diagonala principală egale
cu r  0 . Întrucât r  0 este el însuşi egal cu valoarea medie pătratică a semnalului de intrare
pe fiecare dintre cele M celule multiplicative ale filtrului transversal, se scrie
M M 1
tr  R    i Mr 0   E  u  n  k  
2
(7.66)
i 1 k 0
 
Astfel, utilizând noţiunea de putere a vectorului de intrare pentru a face referire la suma
valorilor pătratice medii ale semnalelor u  n , u  n  1, , u  n  M  1 , condiţia din ecua-
ţia (7.65) pentru convergenţa algoritmului LMS în medie pătratică poate fi reformulată astfel
1
0  (7.67)
Puterea vectorului de intrare
194 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

O altă expresie care primeşte o reformulare mai practică este (7.57), referitoare la
dezadaptarea M :
 M

M
2

i 1
i 
2
 Puterea vectorului de intrare (7.68)

Prin urmare, dacă se impune, pentru stabilitate, condiţia practică (7.67), se asigură automat
nu numai convergenţa algoritmului ci şi realizarea unei dezadaptări M mai mici decât ½.
Se poate defini pentru matricea de corelaţie R o valoare proprie medie prin
M
1

M

i 1
i (7.69)

De asemenea, se poate presupune că curba de învăţare mediată pe ansamblu a algoritmului

LMS este aproximată printr-o singură exponenţială cu constanta de timp  EPM . În
continuare, putem utiliza ecuaţia (6.59), dezvoltată pentru metoda gradientului, pentru a
defini constanta de timp medie  EPM a algoritmului LMS:
1
 EPM  (7.70)
2
Prin urmare, substituind ecuaţiile (7.69) şi (7.70) în (7.68), poate fi redefinită aproxi-
mativ dezadaptarea astfel (Widrow şi Stearns 1985):
M  M
M  (7.71)
2 4 epm
Pe baza formulei de mai sus, se pot face următoarele observaţii:
1. Dezadaptarea M creşte linear cu lungimea filtrului M pentru o constantă de
timp fixată,  EPM .
2. Timpul necesar amortizării regimului tranzitoriu (settling time) al algoritmului
LMS este proporţional cu constanta de timp medie  EPM . Consecinţa este că
dezadaptarea M este invers proporţională cu settling time.
3. Dezadaptarea M este direct proporţională cu pasul algoritmului  , în timp ce
constanta de timp medie  EPM este invers proporţională cu  . Există aici o
contradicţie în sensul că dacă  este mic pentru a reduce dezadaptarea atunci
timpul de amortizare a algoritmului LMS va creşte. Prin urmare, trebuie acor-
dată o atenţie deosebită alegerii parametrului  .

7.3 Simulări pe calculator

Simulările pe computer joacă un rol major în studiul filtrelor adaptive. În analiza prezentată
în paragraful anterior, în scopul simplificării tratamentului matematic al problemei, au fost
făcute o serie de ipoteze şi presupuneri. Valabilitatea acestor supoziţii şi concordanţa dintre
 7.3 Simulări pe calculator 195

rezultatele matematice şi performanţele reale ale filtrelor adaptive sunt verificate de obicei
prin simulări pe calculator.
Vom prezenta în continuare câteva exemple de simulări pe calculator. Este vorba de trei
aplicaţii diferite ale filtrării adaptive:
 Predicţia lineară
 Identificarea de sistem
 Egalizare de canal.
În primul caz, vom relua din Capitolul 6 problema de predicţie lineară şi vom compara pe
exemplul ales performanţele algoritmului LMS cu cele ale metodei SD. A doua aplicaţie
este o problemă de modelare de sistem în condiţiile în care ieşirea sistemului este înecată în
zgomot iar semnalul de intrare este un zgomot „colorat”. Ultimul exemplu studiază apli-
carea egalizării adaptive LMS la minimizarea interferenţei intersimbol de pe un canal de
comunicaţii dispersiv.
Obiectivele urmărite prin aceste exemplificări sunt
 Să-i ajute pe cititori să se familiarizeze cu simulările pe calculator.
 Să verifice acurateţea rezultatelor teoretice obţinute.
 Să îmbunătăţească înţelegerea rezultatelor teoretice prin examinarea şi interpre-
tarea atentă a rezultatelor simulărilor.
Toate rezultatele prezentate în continuare au fost obţinute prin utilizarea mediului de progra-
me pentru calcule ştiinţifice şi tehnice MATLAB. Pe lângă funcţii şi operatori matematici de
uz general, MATLAB include şi instrumente specifice „Toolboxes” dedicate în mod explicit
realizării şi analizei performanţelor filtrelor adaptive (Douglas şi Losada 2002).

7.3.1 Predicţia lineară

În Exemplul 6.1, s-a utilizat metoda SD pentru a face predicţie lineară asupra modelului AR
de ordinul doi dat prin ecuaţia (6.60). S-au analizat de asemenea, performanţele metodei SD.
În Exemplul 7.2, vom executa aceleaşi operaţii prin algoritmul LMS şi vom studia efectele
pe care le are împrăştierea valorilor proprii ale matricii de corelaţie asupra convergenţei
algoritmului LMS.
Exemplul 7.2: Vom relua, pentru început relaţia (6.60) a procesului AR care
generează semnalul u  n  :
u  n  a1u  n  1  a2u n  2  v n
unde v  n este zgomot alb de medie nulă şi varianţă  v2 , iar coeficienţii sunt aleşi
din Tabelul 6.1 pentru două valori distincte ale gradului de împrăştiere a valorilor
proprii,   R  . În scopul efectuării analizei statistice, pentru fiecare set de para-
metri din tabel s-au generat 1000 de realizări aleatoare ale procesului v  n .
196 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

ˆ  n   wˆ1  n wˆ 2  n ai predictorului adaptiv LMS de ordinul

T
Coeficienţii w
doi se calculează cu ecuaţiile recursive (vezi Tabelul 7.1):
e  n  1  u  n  1  wˆ1  n  1 u  n  1  wˆ 2  n  1 u  n  2
wˆ1  n   wˆ1  n  1   e  n  1 u  n  1
wˆ 2  n  wˆ 2  n  1   e  n  1 u  n  2
unde  este parametrul de pas al algoritmului. Predictorul adaptiv s-a iniţializat
prin u  1  u  2  0 şi wˆ 0  1  wˆ1  1  0 . Implementarea predictorului LMS
s-a făcut cu pasul   0,08 , iar evoluţia coeficienţilor şi a EPM a fost înregistrată
pentru fiecare realizare a procesului. Pentru a studia statistic comportarea algo-
ritmului LMS, aceste mărimi s-au mediat pe ansamblul realizărilor. Calculele s-au
reluat pentru   0,02 .
Figura 7.4 prezintă câteva grafice obţinute pentru   R   1,22 . Graficul (a)
prezintă traiectoria mediată pe ansamblu w
ˆ  n
300

n 0
suprapusă peste contururile

Figura 7.4 Graficele performanţelor algoritmului LMS în problema de predicţie lineară

pentru valori ale parametrilor   R   1,22 şi   0,08 .
 7.3 Simulări pe calculator 197

suprafeţelor de EPM constantă. Pentru a evidenţia caracterul aleator al unei

singure realizări este reprezentată, de asemenea, o astfel de traiectorie. Graficul
(b) prezintă curbele de învăţare mediate ale lui w ˆ  n împreună cu rezultatul obţi-
nut pentru o singură realizare. Graficul (c) prezintă curbele de învăţare ale EPM
iar, în final, graficul (d) descrie efectul pe care îl are mărimea pasului  asupra
curbei de învăţare a EPM. Grafice similare prezintă Figura 7.5 pentru   R   10 .
Câteva observaţii se pot face pornind de la graficele obţinute prin simulările descrise
mai sus:
 Traiectoriile şi curbele de învăţare ale unei simple realizări sunt, evident, aleatoare
sau „zgomotoase”, în timp ce operaţia de mediere pe ansamblu are, clar, un efect de
„netezire”.
 Mărimile mediate (coeficienţii şi EPM) converg către valorile optimale iar rata de
convergenţă este în concordanţă cu calculele teoretice.
 Rata de convergenţă a algoritmului LMS depinde de pasul algoritmului  . Cu cât
este mai mic acest pas, cu atât mai lentă este viteza de convergenţă.

Figura 7.5 Graficele performanţelor algoritmului LMS în problema de predicţie lineară

pentru valori ale parametrilor   R   10 şi   0,08 .
198 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

Figura 7.6 Modelarea adaptivă a unui sistem necunoscut FIR

 Rata de convergenţă depinde de asemenea de gradul de împrăştiere a valorilor

proprii   R  . Cu cât mai mare este această împrăştiere, cu atât mai lentă este
această rată. Pentru   R   1,22 , algoritmul converge în aproximativ 150 de paşi
în timp ce, pentru   R   10 , el are nevoie de aproximativ 500 de paşi.

7.3.2 Modelarea de sistem

Vom examina în continuare problema de identificare a unui sistem descrisă în Figura 7.6.
Semnalul de intrare u  n  pentru sistemul de identificat şi filtrul adaptiv este obţinut prin
trecerea unei secvenţe de zgomot alb gaussian de varianţă unitară, v  n  , prin filtrul cu
răspunsul la impuls h  n  . Sistemul necunoscut, wo  n , este presupus a fi de tipul FIR ,
adică răspunsul lui la impuls este de durată finită, M eşantioane. Ieşirea sistemului este
contaminată cu o secvenţă de zgomot alb gaussian, eo  n , de varianţă  o2 . Un filtru adap-
ˆ  n , n  0,1,
tiv cu M coeficienţi, w , M  1 este utilizat pentru estimarea parametrilor
sistemului de identificat.
Exemplul 7.3: Se consideră aplicaţia de modelare din Figura 7.6, în care siste-
mul de identificat are funcţia de transfer
i 14
Wo  z   Z wo  n   z i   z i
i 0 i 8

Prin urmare, ordinul filtrului adaptiv utilizat la identificare este M  15 . Pe de

altă parte, varianţa zgomotului alb eo  n este  o2  103 .

În ceea ce priveşte filtrul FIR h  n  , ce „colorează” semnalul de intrare în

sistem, în scopul examinării efectului gradului de împrăştiere a valorilor proprii
ale lui R asupra performanţelor filtrării adaptive se utilizează pentru funcţia de
transfer H  z  două expresii distincte:
 7.3 Simulări pe calculator 199

Figura 7.7 Densităţi spectrale de putere ale proceselor

de intrare u  n obţinute prin filtrare cu:
(a) h  n  h1  n , (b) h  n  h2  n .

 H1  z   Z h1  n  0,35  z  0,35 z

 1 2

H  z   Z h  n   
 H 2  z   Z h2  n   0,35  z  0,35 z
1 2

Alegerea primei expresii conduce la o valoare a împrăştierii   R   1,45 , apro-
piată de cea a zgomotului alb. În schimb, utilizarea celei de a doua variante dă un
semnal de intrare mult mai „colorat”, întrucât   R   28,7 . Conform proprietăţii
a 7-a a valorilor şi vectorilor proprii ale lui R (vezi Capitolul 3), valoarea
gradului de împrăştiere   R  poate fi aproximată din graficul densităţii spectrale
de putere (DSP) a procesului considerat. Figura 7.7 reprezintă DSP pentru cele
două funcţii de transfer considerate. Pentru a reprezenta graficele din Figura 7.7,
s-a avut în vedere că spectrul procesului u  n se obţine prin aplicarea relaţiei
(3.58) la cazul examinat:
Su     H    Sv   
2

cu Sv     1 , pentru că v  n este zgomot alb de varianţă unitară. În concluzie,

Figura 7.7 evidenţiază că procesul generat de H 2  z  este puternic „colorat” în
timp ce spectrul generat de H1  z  este relativ plat.
Figura 7.8 reprezintă curbele de învăţăre ale algoritmului LMS pentru cele
două variante de filtru H  z  utilizate. Parametrul de pas al algoritmului  se
alege în conformitate cu relaţia (7.68) dintre dezadaptarea M şi puterea proce-
sului u  n , astfel încât valoarea dezadaptării să fie de 10%, 20% respectiv 30%.
Valorile iniţiale ale coeficienţilor filtrului adaptiv sunt nule, wˆ i 0  0,
200 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

Figura 7.8 Curbele de învăţare ale algoritmului LMS pentru problema de identificare de
sistem din Figura 7.6, pentru cele două variante de procese de intrare discutate.

i  0,1, , M 1. Fiecare curbă reprezentată în Figura 7.8 este obţinută printr-o
mediere statistică pe 100 de rulări independente ale experimentului. Se observă că
eroarea minimă este J min  E eo  n   o2 , valoare atinsă atunci când coefi-
2

cienţii filtrului LMS coincid cu cei ai modelului.

Figura 7.8(a) evidenţiază încă o dată faptul că în situaţia în care dezadaptarea este redu-
să şi pentru un acelaşi pas  al algoritmului LMS, convergenţa algoritmului se face mai
rapid în cazul unei împrăştieri mai mici a valorilor proprii   R  . Din Figura 7.8(b) rezultă
că, pentru un grad de împrăştiere   R  dat, odată cu creşterea pasului  şi, implicit a
dezadaptării M , rata de convergenţă a algoritmului creşte, dar, lucru evident pentru
M  30% , sporeşte şi instabilitatea algoritmului.
Sunt câteva concluzii care pot fi desprinse din Exemplul 7.3:
 Pentru un nivel al dezadaptării M  10% (şi mai mic), relaţia (7.68) descrie foarte
bine ceea ce se întâmplă în realitate, după cum rezultă din simulări. Pentru nivele de
dezadaptare 10%  M  30% , relaţia mai precisă, (7.54), realizează o bună
concordanţă cu rezultatele simulărilor (Farhang-Boroujeny 1998).
 După cum se remarcă şi din Figura 7.8(a), pentru dezadaptări M  30% ,
rezultatele simulărilor nu mai pot fi descrise satisfăcător de modele teoretice
adecvate. Mai mult, figura evidenţiază, pentru M  30% , un anumit grad de
instabilitate, care se accentuează dacă dezadaptarea creşte. Explicaţia dezacordului,
în acest ultim caz, dintre teorie şi experiment poate fi atribuit faptului că ipoteza de
independenţă, care s-a făcut la dezvoltarea rezultatelor teoretice, este serios violată
pentru valori mari ale lui  .

7.3.3 Egalizarea adaptivă

Performanţele sistemelor de transmisie a datelor pe canale care pot fi aproximate prin
sisteme lineare sunt limitate de factori ca banda finită de frecvenţă, interferenţa intersimbol
(ISI) şi zgomotul termic. Exemplele tipice de asemenea canale includ liniile telefonice,
 7.3 Simulări pe calculator 201

transmisiunile de microunde cu propagare directă, canalele de satelit şi canalele acustice

subacvatice. Pentru viteze de transmisie a datelor mai mici de 2400 biţi/s, ISI este relativ
redus şi nu pune probleme în funcţionarea unui modem. Totuşi, dacă vitezele de
comunicaţie depăşesc 2400 biţi/s, modemul are nevoie de un egalizor pentru a compensa
distorsiunea de canal. Deoarece caracteristicile canalelor sunt, în general, necunoscute şi
variabile în timp, se foloseşte un algoritm adaptiv, ceea ce conduce la egalizare adaptivă.
Figura 7.9 descrie aplicarea filtrării adaptive la egalizarea de canal. Iniţial, se transmite o
secvenţă cunoscută şi de durată scurtă pentru a ajusta coeficienţii egalizorului prin
intermediul algoritmului LMS. După această scurtă perioadă de învăţare, se transmite
efectiv secvenţa de date u  n . Variaţiile lente ale caracteristicilor canalului sunt în
continuare urmărite în mod continuu prin ajustarea coeficienţilor egalizorului ce utilizează
deciziile în locul secvenţei cunoscute de învăţare. Această abordare este eficientă, atâta timp
cât rata de eroare a deciziilor este redusă.
Exemplul 7.4: Figura 7.10 prezintă schema bloc a sistemului utilizat în studiul
experimental al performanţelor algoritmului LMS utilizat în egalizarea adaptivă.
Sursa de date generează secvenţa Bernoulli d0  n de simboluri 1 şi 1 , ce are
media nulă şi varianţa unitară. Canalul, prin care se propagă semnalul sursei, este
modelat de un răspuns la impuls de tip cosinus ridicat:

Figura 7.9 Modelul unui egalizor adaptiv dintr-un sistem de transmisiuni de date.
202 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

Figura 7.10 Schema bloc a sistemului utilizat în studiul performanţelor unui

egalizor adaptiv.

   2 
0,5 1  cos   n  2    , n  1, 2,3
h  n    W  (7.72)
0,
 în rest
unde parametrul W este utilizat pentru a controla mărimea distorsiunii de canal.
Distorsiunea creşte odată cu creşterea lui W . Generatorul de zgomot aleator
furnizează secvenţa de zgomot alb gaussian v  n , care modelează zgomotul
canalului. Secvenţa de intrare în egalizor este:
3
u  n   h  k  d0  n  k   v  n  (7.73)
k 1

Secvenţa d0  n este independentă, iar zgomotul v  n este necorelat cu ea, astfel

încât întârzierea maximă pentru care corelaţia este nenulă este 2. Calculul
corelaţiei lui u  n :
r  0  h 2 1  h 2  2  h 2 3   v2
r 1  h 1 h  2  h  2 h 3
r  2  h 1 h 3
permite ca, pentru un egalizor de lungime M , să se formeze matricea R de
dimensiune M  M . Întrucât, parametrul W controlează valorile proprii ale lui
R , el dictează implicit şi gradul de împrăştiere a acestora,   R  .
În cazul simulării, semnalul de învăţare al egalizorului adaptiv este o versiune
a lui d0  n , decalată faţă de aceasta cu o durată egală cu suma întârzierilor intro-
duse de canal şi egalizor,  . Răspunsul la impuls al canalului din (7.72) este
simetric în raport cu n  2 , şi presupunând că egalizorul este un filtru FIR cu fază
lineară, întârzierea totală este egală cu    M  1 2  2 . Semnalul de eroare
e  n  d  n  y  n este utilizat împreună cu y  n pentru a implementa algoritmul
 7.3 Simulări pe calculator 203

Figura 7.11 Graficele de analiză a performanţelor algoritmului LMS în problema de egalizare

adaptivă.

LMS în egalizorul adaptiv, valorile iniţiale fiind nule: w ˆ 0  0 . Pentru fiecare
caz studiat, s-au executat 100 de realizări independente ale secvenţelor aleatoare,
M  11 iar varianţa zgomotului de canal este  v2  103 . S-au efectuat rulări
pentru două valori distincte ale parametrului de canal: W  2,9 şi W=3,5 respec-
tiv pentru patru valori ale lui  : 0,01; 0,02; 0,04 şi 0,08. Rezultatele sunt prezen-
tate în Figura 7.11. Figura 7.12 evidenţiază faptul că răspunsul la impuls al
filtrului adaptiv este simetric în raport cu cel de-al 7-lea coeficient al filtrului,
exact aşa cum s-a prevăzut, în timp ce Figura 7.13 prezintă realizări particulare ce
se obţin cu egalizorul LMS prezentat pentru secvenţa transmisă, recepţionată
respectiv egalizată.
În legătură cu rezultatele obţinute, subliniem următoarele:
 Efectul împrăştierii valorilor proprii. Curbele de învăţare ale erorii pătratice
medii pentru W  2,9 şi W  3,5 din Figura 7.11(a) indică faptul că rata de
convergenţă a EPM descreşte odată cu creşterea lui W (sau, echivalent, cu
creşterea lui   R  ), ceea ce era de aşteptat. Pe de altă parte, valoarea de regim
permanent a EPM se măreşte, atunci când W creşte.
 Efectul pasului μ. Figura 7.11(b) prezintă curbele de învăţare ale EPM obţinute

Figura 7.12 Valorile mediate pe ansamblu ale coeficienţilor egalizorului

adaptiv.
204 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

Figura 7.13 Formele de undă ale unei secvenţe aleatoare transmise,

recepţionate şi egalizate de egalizorul LMS.

pentru trei valori diferite ale lui  . Acestea evidenţiază că  afectează rata de
convergenţă ca şi valoarea de regim permanent a erorii. Pentru   0,08 , algorit-
mul converge în aproximativ 100 de iteraţii, în timp ce atunci când   0,01 sunt
necesari în jur de 500 de paşi ai algoritmului.

7.4 Algoritmi LMS pentru aplicaţii de

control activ
Domeniul aplicaţiilor filtrării adaptive este, de regulă, cel al prelucrării semnalelor în teleco-
municaţii. În acest gen de aplicaţii, ieşirea filtrului este o estimare a semnalului dorit. În apli-
caţiile de control activ (reducerea zgomotului acustic sau a vibraţiilor nedorite), filtrul adap-
tiv controlează un sistem dinamic ce conţine amplificatoare sau elemente de acţionare
(actuatori) (Elliott 2001). După cum evidenţiază Figura 7.14(a), ieşirea sistemului dinamic
(anti-zgomot sau anti-vibraţii) reprezintă semnalul de ieşire al sistemului adaptiv. În conse-
cinţă, în acest gen de aplicaţii, se utilizează variante specializate ale algoritmilor adaptivi.
Este evident că un algoritm adaptiv convenţional ca de pildă algoritmul LMS se dove-
deşte, după toate probabilităţile, instabil în acest gen de aplicaţii datorită întârzierilor ce apar
pe calea directă (Elliott şi Nelson 1993). În aceste situaţii, o posibilă alegere sunt algoritmii
LMS cu filtrarea referinţei (în engleză – filtered-X LMS) şi LMS cu filtrarea erorii (în
engleză – adjoint LMS). Ambii algoritmi provin din algoritmul LMS dar introduc, pentru
calculul vectorului coeficienţilor, modele ale sistemului de comandă între semnal şi algoritm
 7.4 Algoritmi LMS pentru aplicaţii de control activ 205

(Håkansson 2006, Morgan 1980) în cazul primului algoritm menţionat respectiv între
semnalul de eroare şi algoritm (Elliott 2001, Wan 1996) în cazul celui de al doilea.

7.4.1 Algoritmul LMS cu filtrarea referinţei

Pentru a exprima semnalul de ieşire yC  n al sistemului de control activ din Figura 7.14(a)
avem în vedere că filtrul FIR este adaptiv cu M coeficienţi variabili, vectorul coeficienţilor
ˆ  n   wˆ 0  n wˆ1  n wˆ M 1  n . De asemenea, vom presupune că sistemul
T
fiind w
de control c poate fi descris printr-o funcţie de transfer de tip FIR de ordinul I:
c  c0 c1 cI 1  (7.74)
În aceste condiţii, calculăm semnalul de ieşire yC  n al schemei din Figura 7.14(a)
I 1
yC  n   cT y  n    c j y  n  j 
j 0
I 1 I 1 M 1
(7.75)
 cj w
ˆ  n  j  u  n  j    c j  wˆ i  n  j  u  n  j  i 
T

j 0 j 0 i 0

Ideea care stă la baza aplicării algoritmilor adaptivi în sistemele de control activ este că
variaţia în timp a coeficienţilor filtrului adaptiv wˆ i este mult mai lentă decât dinamica siste-
mului de control, astfel încât într-o primă aproximaţie, filtrul adaptiv poate fi considerat ca
fiind invariabil în timp. În aceste condiţii, se poate face aproximaţia: wˆ i  n  j  wˆ i  n ,
i  0,1, , M  1, j  0,1, I  1 şi:
I 1 M 1 M 1 I 1

 c j  wˆ i n  j u n  j  i    wˆ i n  c ju n  i  j 
j 0 i 0 i 0 j 0
(7.76)

Expresia din membrul drept al ecuaţiei (7.76) indică posibilitatea echivalării configuraţiei

Figura 7.14 (a) Versiunea simplificată a schemei bloc a unui sistem adaptiv
de control activ. (b) Versiunea rearanjată a schemei din (a) în
cazul unor sisteme liniare şi invariante în timp.
206 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

din Figura 7.14(a) cu cea din Figura 7.14(b), ceea ce este justificat pentru un sistem linear
invariant în timp. Drept urmare, pentru a aplica sistemului de control activ din Figura
7.14(a) algoritmul LMS, ne vom referi la schema echivalentă din Figura 7.14(b), ecuaţia
LMS de recursie a vectorului coeficienţilor (7.9) luând acum forma:
ˆ  n  1  w
w ˆ  n   r  n  e  n  (7.77)
unde r  n este răspunsul sistemului de control c la secvenţa de intrare u  n :

r  n   r  n  r n  k  r  n  M  1 ,
T

I 1 (7.78)
cu: r  n  k    c j u  n  k  j 
j 0

iar expresia semnalului de eroare e  n  este

e  n  d  n  yC  n  d n  wT n r n (7.79)
Relaţia (7.77) reprezintă ecuaţia de recursie a algoritmului LMS cu filtrarea referinţei,
numit în limba engleză filtered-X LMS din motiv că se obişnuieşte ca semnalul de referinţă
u  n să fie notat în literatura de specialitate cu x  n .
În practică, semnalul de referinţă filtrat va fi generat utilizând o versiune estimată a
răspunsului real al actuatorului făcută de un model al sistemului de control. Acesta poate fi
implementat ca un filtru separat cu funcţia de transfer Ĉ  z  , care este utilizat pentru a gene-
ra semnalul de referinţă filtrat, r̂  n , după cum este ilustrat de Figura 7.15. Versiunea
practică a algoritmului LMS cu filtrarea referinţei poate fi atunci scrisă sub forma:
ˆ  n  1  w
w ˆ  n  rˆ  n e  n (7.80)
O interpretare fizică a acestui algoritm poate fi obţinută comparând relaţia (7.80) cu ecuaţia
corespunzătoare a algoritmului LMS standard, (7.9). În cazul algoritmului LMS, semnalul
de eroare este multiplicat direct cu semnalul de referinţă pentru a furniza estimarea funcţiei
de intercorelaţie utilizată în adaptarea filtrului. Dacă această abordare ar fi fost adoptată în
cazul sistemului de control activ, semnalul de eroare ar fi fost filtrat de ieşirea actuatorului,

Figura 7.15 Schema bloc a implementării în practică a algoritmului LMS cu filtrarea

referinţei. Se utilizează un model Ĉ  z  al sistemului de comandă real
C  z  pentru a genera semnalul de referinţă filtrat rˆ  n .
 7.4 Algoritmi LMS pentru aplicaţii de control activ 207

ceea ce ar fi distorsionat estimarea intercorelaţiei. Algoritmul LMS cu filtrarea referinţei

prefiltrează u  n cu răspunsul estimat al actuatorului astfel încât semnalul de eroare şi
semnalul de referinţă filtrat să fie din nou aliniate în timp, dând astfel o estimare validă a
intercorelaţiei.
În raport cu algoritmul LMS standard, este evident că volumul de calcul pe care îl
implică implementarea algoritmului LMS cu filtrarea referinţei este mai mare, datorită
calculului vectorului rˆ  n la fiecare iteraţie, ceea ce necesită un număr de I multiplicări
suplimentare.

7.4.2 Algoritmul LMS cu filtrarea erorii

Acest algoritm reprezintă o simplă alternativă la algoritmul anterior. În algoritmul LMS cu
filtrarea erorii, după cum îi spune şi numele, se filtrează, printr-un model adjunct al
sistemului de comandă, eroarea e  n  şi nu semnalul de referinţă u  n . Pentru a deduce
algoritmul LMS cu filtrarea erorii, va trebui să revenim asupra schemei de principiu a
sistemului de control activ din Figura 7.15(b) şi să exprimăm explicit gradientul mediei
statistice a pătratului semnalului de eroare:

wˆ  E  e2  n  2E e  n wˆ d n  w 
ˆ T r n  2E  e n  r n  (7.81)

Pentru a justifica înlocuirea operaţiei de filtrare a semnalului de referinţă utilizată în

algoritmul precedent cu filtrarea erorii, vom face apel la caracterul ergodic al semnalelor ce
apar în relaţia (7.81) şi vom înlocui în respectiva relaţie medierea statistică prin mediere
temporală:
wˆ  E  e2  n  2E  e  n r  n  2 e  n r n (7.82)
Continuăm calculul, şi facem apel la relaţia (7.78) pentru a examina componenta k a
vectorului gradientului
 E  e 2  n 
 wk  E  e 2  n     2 e  n  r  n  k 
 wk
(7.83)
N I 1
2
  lim  e  n  c j u  n  k  j 
N  2 N  1
n  N j 0

Rescriem ultima ecuaţie într-un format alternativ, prin efectuarea schimbării de variabilă
n  n  j  n  n  j  :

 E  e 2  n  2 I 1 N
 wk
  lim
N  2 N  1
  u n  k  c j e n  j 
j  0 n  j  N
(7.84)

Notăm prin f  n rezultatul convoluţiei necauzale dintre semnalul de eroare cu răspunsul
inversat în timp al sistemului de comandă:
208 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

I 1
f  n   c j e  n  j  (7.85)
j 0

Observăm de asemenea că întrucât j este întotdeauna finit, rezultatul sumării de la –N la N

pe măsură ce N tinde la ∞ din membrul drept al ecuaţiei (7.84) este identic atât pentru
n   la  cât şi pentru n  j   la  . Rezultatul mediei temporale din (7.84) poate
fi scris în consecinţă astfel:
 E  e 2  n  2 N
 lim  f  n u  n  k   2 f  n u  n  k  (7.86)
 wk N  2 N  1
n  N

Ultimul rezultat va fi folosit pentru implementarea algoritmului tip LMS pornind de la

ecuaţia (7.5) a metodei gradientului. Astfel, estimata instantanee a componentei k a
gradientului EPM este 2 f  n u  n  k  iar o estimare instantanee a gradientului EPM
poate fi exprimată după cum urmează:
wˆ  E  e2  n  2 f  n u  n (7.87)
Problema pe care o pune aplicarea relaţiei (7.87) într-un algoritm în timp real este că relaţia
de calcul (7.85) al funcţiei f  n nu poate fi implementată într-un sistem în timp real. Ea
poate fi depăşită prin întârzierea atât a lui f  n cât şi a lui u  n  k  din ecuaţia (7.86) cu
I  1 eşantioane. Forma finală a algoritmului LMS cu filtrarea erorii poate fi acum scrisă
prin înlocuirea estimării (7.87) în ecuaţia (7.5) şi întârzierea cu I  1 eşantioane ale
rezultatului obţinut (Wan 1996):
ˆ  n  1  w
w ˆ  n   f  n  I  1u  n  I  1 (7.88)

u  n  I  1  u  n  I  1 u  n  I  u n  I  M  2
T
unde: (7.89)
Semnalul întârziat de eroare filtrat, care ar fi utilizat într-o implementare practică a
algoritmului, are expresia
I 1 I 1
fˆ  n  I  1   cˆ j e  n  j  1   cˆI 1 j e  n  j  (7.90)
j 0 j 0

unde cˆ j sunt coeficienţii răspunsului la impuls al unui model FIR al sistemului de control,
care se presupune că are I coeficienţi. Forma finală a ecuaţiei (7.90) se obţine făcând
schimbarea de variabilă j  I  1  j şi subliniind că semnalul de eroare este acum filtrat
cauzal prin utilizarea unei versiuni inversate în timp a modelului sistemului de control. Dacă
transformata Z a acestui model este:
I 1
Cˆ  z    cˆ j z  j (7.91)
j 0
 7.4 Algoritmi LMS pentru aplicaţii de control activ 209

Figura 7.16 Schema bloc a algoritmului LMS cu filtrarea erorii în care eroarea este
filtrată de un filtru care este o versiune inversată şi întârziată a
modelului sistemului de comandă.
atunci funcţia de transfer a filtrului necesar pentru a genera versiunea întârziată a semnalului
de eroare filtrat fˆ  n  I  1 din semnalul de eroare e  n  poate fi scrisă astfel
I 1
z  I 1Cˆ  z 1    cˆ j z j 1 I (7.92)
j 0

Rezultatul obţinut este schema bloc a algoritmului LMS cu filtrarea erorii prezentată în
Figura 7.16. Numele de algoritm LMS adjunct utilizat adesea pentru a desemna algoritmul
se datorează faptului că modelul utilizat pentru filtrarea erorii are drept funcţie de transfer
adjuncta funcţiei sistemului de control (Wan 1996).
În cazul sistemelor de control activ mono-canal, algoritmul LMS cu filtrarea erorii nu
oferă nici un avantaj în raport cu algoritmul LMS cu filtrarea referinţei, pentru că şi într-un
caz şi în celălalt este necesar ca la fiecare iteraţie să se calculeze convoluţia cu toţi
coeficienţii modelului utilizat. Totuşi, în cazul sistemelor multi-canal situaţia este diferită,
avantajul fiind de partea algoritmului LMS adjunct (Elliott 2001).
În măsura în care pasul algoritmului LMS cu filtrarea erorii este mic, nu există diferenţe
între performanţele acestui algoritm şi cele ale algoritmului LMS cu filtrarea referinţei.
Diferenţe apar în favoarea algoritmului LMS cu filtrarea referinţei odată cu creşterea facto-
rului  , datorită întârzierii suplimentare de I  1 eşantioane introdusă de algoritmul LMS
cu filtrarea erorii în scopul asigurării cauzalităţii filtrului adjunct.
Exemplul 7.5: În scopul comparării performanţelor algoritmilor LMS utilizaţi în
aplicaţii de control activ se utilizează în experiment schema de principiu din
Figura 7.14(a). Semnalul de referinţă u  n este zgomot alb de medie nulă şi
varianţă unitară. Schema de control activ are scopul să compenseze semnalul
perturbator d  n , obţinut prin trecerea lui u  n prin filtrul FIR, D    cu carac-
teristica de transfer din Figura 7.19 şi însumarea la rezultatul obţinut a unui
zgomot alb de varianţă  v2  104 . Sistemul de comandă C  z  aflat în structura
schemei de control activ, şi modelul acestuia Ĉ  z  utilizat de algoritmii LMS de
control activ (vezi Figura 7.15 şi Figura 7.16) sunt filtre FIR cu 32 de coeficienţi,
proiectate prin metoda ferestrei Hamming.
210 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

Figura 7.17 Evoluţia instantanee a erorii e  n la ieşirea

schemelor de control activ LMS cu filtrarea
referinţei respectiv cu filtrarea erorii.

S-a studiat comportarea algoritmilor LMS cu filtrarea referinţei, respectiv

LMS cu filtrarea erorii, utilizând în ambele situaţii un filtru adaptiv FIR cu 32 de
coeficienţi. Pasul algoritmilor este   0,008 . Figura 7.17 evidenţiază echivalenţa
celor doi algoritmi din punctul de vedere al evoluţiei în timp a semnalului de
eroare e  n  .
O bună caracterizare a acţiunii sistemelor de control activ se poate face în
domeniul frecvenţă. În cazul în care ieşirea acestuia yC  n reuseşte să realizeze o
bună compensare a semnalului perturbator d  n , caracteristicile de frecvenţă ale
sistemului de control şi ale canalului perturbator D    devin similare. Acest

Figura 7.18 Curbele de învăţare ale EPM ale algoritmi-

lor LMS cu fitrarea referinţei respectiv LMS
cu filtrarea erorii.
 7.5 Algoritmul LMS cu constrângeri liniare 211

Figura 7.19 Spectrele canalului perturbator D    , ale

sistemului de comandă C    , şi ale algo-
ritmilor LMS de control activ.

lucru îl demonstrează Figura 7.19. Pentru a evidenţia acţiunea algoritmilor LMS

de control activ, în figură este reprezentată şi caracteristica de frecvenţă a
sistemului de control C    .
Curbele de învăţare ale EPM reprezentate în Figura 7.18 au fost obţinute prin
mediere pe 100 de realizări independente şi sunt perfect identice, atâta vreme cât
factorul  are valori reduse. Diferenţe în favoarea algoritmului LMS cu filtrarea
referinţei apar în experiment atunci când   0,015 .

7.5 Algoritmul LMS cu constrângeri liniare

În aplicaţiile de bandă îngustă ale formatoarelor de fascicoli (beamformer) discutate în
Secţiunea 4.8, obiectivul urmărit a fost acela de a minimiza puterea de ieşire a reţelei de
antene, prin impunerea unui set de constrângeri asupra coeficienţilor filtrului adaptiv. Vom
reaminti în cele ce urmează problema filtrării de varianţă minimă cu constrângeri lineare în
scopul dezvoltării unui algoritm LMS adecvat acesteia.
Beamformer-ul este o reţea adaptivă de antene (vezi Figura 7.20), ale căror semnale
recepţionate sunt combinate linear, ( y  n   k 0 wˆ k   n uk  n ), astfel încât la ieşire să
M 1 c*

apară doar semnalele sosite pe o anumită direcţie particulară, în timp ce semnalele sau
perturbaţiile având alte direcţii de propagare sunt atenuate. Din punct de vedere matematic,
condiţia impusă reprezintă o problemă de optimizare cu constrângeri, enunţată în Capitolul
4 prin ecuaţiile (4.79) şi (4.80). Vom relua în continuare aceste condiţii, la un nivel mai înalt
de generalizare şi adaptate scopului propus:
212 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

Figura 7.20 Descrierea acţiunii unui formator de fascicul

(beamformer).

Fiind dat vectorul de observaţie u  n  u0  n u1  n uM 1  n , să se

T

determine coeficienţii optimi wˆ oc   n   wˆ oc0  n wˆ oc1  n c 

1  n 
T
wˆ oM  care mini-
mizează în sensul mediei pătratice puterea de ieşire a combinatorului
y  n  w
ˆ  c  H  n u  n :

min
wˆ  c 
  
 E y  n  2   min  w
 wˆ c 
ˆ  c  H  n  E  u  n  u H  n  w
ˆ  c   n 

(7.93)
 min
c
ˆ
w
ˆ
w  cH
 n Rwˆ  n
c

în condiţiile îndeplinirii setului de constrângeri liniare:

ˆ  c   n  g
SH w (7.94)
unde R este matricea de corelaţie a semnalului de intrare, S este matricea de
constrângeri iar g un vector fixat.
Problema poate fi rezolvată prin metoda multiplicatorilor lui Lagrange. Definim, în
acest scop, funcţia de cost J  c   n , dată de relaţia (ca peste tot în acest paragraf indicele (c)
desemnează constrângere):


2

 
J  c   n  E  y  n   λ  n  S H w
ˆ c n  g  (7.95)
w
ˆ cH
n Rwˆ  n  λ  n  S
c H
ˆ
w c
 n  g 
unde λ  n este vectorul coeficienţilor Lagrange.
Acţiunea algoritmului LMS cu constrângeri (Diniz 2008, Frost_III 1972) constă în
ˆ  c   n  1 care să satisfacă atât setul de constrângeri
căutarea unui vector al coeficienţilor w
 7.5 Algoritmul LMS cu constrângeri liniare 213

cât şi să reprezinte o mică actualizare în raport cu w ˆ  c   n pe direcţia opusă gradientului

funcţiei de cost (vezi ecuaţia (7.5)):

ˆ  c   n  1  w
w
1

ˆ  c   n    ˆ ç J  c   n 
2 w 
(7.96)
w
1
ˆ  c   n    2R
2

ˆ  n w ˆ  n   Sλ  n  
unde R ˆ  n este estimarea matricii de corelaţie a semnalului de intrare la momentul n. De
ˆ  c   n este:
remarcat că gradientul funcţiei de cost în raport cu w

 
wˆ ç J  c   n  2Rw
ˆ  n  Sλ  n

ˆ  n se alege ca în
În cazul particular al algoritmului LMS cu constrângeri, matricea R
(7.2) drept estimarea instantanee u  n u H  n , ceea ce face ca relaţia (7.96) să devină
1
ˆ  c   n  1  w
w ˆ  c   n  u  n u H  n  w
ˆ  n  Sλ  n (7.97)
2
ˆ  c   n  1  g , şi
Aplicăm în expresia de mai sus constrângerea liniară (7.94) sub forma S H w
rezultă

ˆ  c   n   S H u  n   u H  n  w
ˆ  n   S H Sλ  n 
1
ˆ  c   n  1  g  S H w
SH w
2 (7.98)
1
ˆ  c   n    y*  n  S H u  n   S H Sλ  n 
 SH w
2
Rezolvăm ecuaţia de mai sus pentru 1 2   λ  n şi obţinem:

1 2  λ  n  S H S   
ˆ  c   n   y*  n u  n    S H S  g
1 1
SH w (7.99)
Acum, pentru a ajunge la forma finală a ecuaţiei de recursie, rămâne să înlocuim (7.99) în
ecuaţia (7.97), ceea ce conduce la
ˆ  c   n  1  P w
w  
ˆ  c   n   y*  n u  n   g S (7.100)

unde g S  S  S H S  iar P  I  S  S H S  S H .
1 1

Putem face observaţia că actualizarea vectorului coeficienţilor din ecuaţia (7.100) constă
ˆ  0 a unei soluţii LMS neconstrânse
în efectuarea proiecţiei pe hiperplanul definit prin S H w
la care se adaugă un vector g S ce readuce soluţia proiectată în hiperplanul cu constrângeri.
Dacă în configuraţia beamformer-ului din Figura 7.20 este inclusă şi o intrare de
referinţă ca în Figura 1.23 ce furnizează semnalul dorit d  n , ecuaţia de actualizare (7.100)
capătă expresia
214 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
Tabelul 7.2 Algoritmul LMS cu constrângeri

1. Se alege o valoare convenabilă pentru pasul  şi constanta  . Se

iniţializează variabila contor  n  0  , vectorul pondere, vectorul şi
matricea care modelează constrângerile:
ˆ  c  0  g S  S  S H S  g, P  I  S  S H S  S H
1 1
w
2. Se calculează ieşirea curentă a filtrului:
y  n  w ˆ  c  H  n u  n
3. Se determină eşantionul curent al secvenţei de eroare:
e  n  d  n  y  n
4. Se calculează soluţia LMS fără constrângeri:
wˆ  n  1  w ˆ  c   n  e*  n u  n
5. Se calculează vectorul coeficienţilor pentru pasul următor,
impunând constrângerile:
w ˆ  c   n  1  Pw ˆ  n  1  g S
6. Se incrementează variabila contor  n  n  1 şi se execută un salt
la 2.

w 
ˆ  c   n  1  P w 
ˆ  c   n  e*  n u  n  g S (7.101)

unde semnalul de eroare e  n  este ca de obicei, diferenţa d  n  y  n . Tabelul 7.2 rezumă

operaţiile necesare implementării ecuaţiei (7.101).
Şi algoritmul LMS normalizat prezentat în Capitolul 8 poate fi modelat ca o problemă
de optimizare cu constrângerea w ˆ H  n  1 u  n  d  n . Prin urmare, pentru a avea un
algoritm LMS normalizat cu constrângeri, soluţia va trebui să satisfacă pe lângă condiţia
SH wˆ  c   n  1  g şi egalitatea de normalizare w ˆ  c  H  n  1 u  n  d  n . O astfel de
abordare a fost urmată, printre alţii, de J.A.Apolinário_Jr, ş.a. (1998).
Exemplul 7.6: O reţea de antene cu 4 elemente (vezi Figura 7.21) cu distanţa
dintre elemente d  0,15m recepţionează semnale de la două surse diferite plasate
la 90° respectiv 30° în raport cu axa antenelor. Semnalul util soseşte la antenă sub
un unghi de 90°, având frecvenţa de 20MHz iar semnalul parazit este o sinusoidă
cu frecvenţa 70MHz. Frecvenţa de eşantionare este de 2GHz. Nivelul puterii
semnalelor recepţionate este de 0dB iar cel al zgomotului în antenă este -30dB. Se
va utiliza algoritmul LMS cu constrângeri lineare pentru a adapta beamformer-ul.
Este o problemă de optimizare cu două constrângeri. O primă constrângere
impune ca amplitudinea recepţionată pe frecvenţa 20MHz să fie unitară, cea de a
doua anulează la ieşire amplitudinea corespunzătoare frecvenţei perturbatoare.
Expresia lor matematică este
 7.5 Algoritmul LMS cu constrângeri liniare 215

Figura 7.21 Sistem de antene cu 4 elemente.

3 3

 wˆ kc*e jk1  1 şi  wˆ kc*e jk2  0

k 0 k 0

c
unde wˆ k sunt coeficienţii beamformer-ului iar i , i  1,2 reprezintă frecvenţa
spaţială a reţelei în raport cu cele două unde electrice (vezi relaţia (1.8)):
2 d
i  cosi , i  1, 2
i
În relaţia de mai sus, i şi  i sunt parametrii celor două unde incidente.
Expresia matricială a constrângerilor este:
ˆ c  g
SH w

ˆ  c    wˆ 0 c  wˆ1 c  wˆ 2 c  wˆ 3 c   vectorul coeficienţilor, g  1 0 şi

T T
cu w 
1 e j1
e j 31  e j 21
ST    j 2 
e  j 2  2 e  j 3 2 
1 e
Figura 7.22 prezintă rezultatele obţinute în urma implementării algoritmului
descris în Tabelul 7.1, demonstrând că, practic, după convergenţă, în semnalul de
ieşire se regăseşte doar sinusoida de interes. Graficul puterii de ieşire a reţelei în
funcţie de unghiul de incidenţă este prezentat în Figura 7.23. Din această figură, se
observă atenuarea mare pe care beamformer-ul o impune asupra semnalelor ce
sosesc pe direcţia de 30°.
216 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

Figura 7.22 Semnale la intrarea şi ieşirea beamformer-

ului din Exemplul 7.6, obţinute după
convergenţa algoritmului LMS cu
constrângeri.

7.6 Efectele cuantizării asupra implemen-

tării digitale a algoritmului LMS
Implementarea digitală a algoritmilor de filtrare adaptivă introduce o limitare a preciziei atât
în privinţa mărimilor de intrare cât şi a rezultatelor algoritmilor. Semnalele de intrare în
filtrul adaptiv sunt cuantizate la o precizie numerică limitată în convertoarele analog-
numerice (CAN). Operaţiile aritmetice sunt efectuate cu o precizie de calcul limitată iar
rezultatele acestora sunt rotunjite sau trunchiate cu o precizie limitată specifică (Håkansson
2004, Oppenheim, ş.a. 1998). Figura 7.24 ilustrează pe schema bloc a algoritmului LMS
operaţiile algoritmului care sunt afectate de precizia limitată.

Figura 7.23 Caracteristica de directivitate a beam-

former-ului din Exemplul 7.6.
 7.6 Efectele cuantizării asupra implementării digitale a algoritmului LMS 217

Figura 7.24 Schema bloc a algoritmului LMS cu precizie limitată.

Blocurile notate în figură cu Q efectuează operaţia de cuantizare. Cuantizarea, atât în

blocurile CAN cât şi în operaţiile aritmetice ca de exemplu multiplicare în care se fac
rotunjiri sau trunchieri, introduce erori de cuantizare. În cazul cuantizării uniforme din
convertoarele CAN, eroarea de cuantizare introdusă poate fi aproximată printr-un proces de
zgomot alb de medie nulă şi varianţă  2 12 , unde  este valoarea pasului de cuantizare
(Mateescu, ş.a. 1997). În plus, de obicei erorile de cuantizare rezultate din rotunjirea
produselor sunt de medie nenulă.
Cu alte cuvinte, produsul e  n u  n cu care se actualizează coeficienţii în algoritmul
LMS (vezi ecuaţia (7.6)) va fi cuantizat Q  e  n u  n ca în:

Q   e  n  u  n    e  n  u  n   b  n  (7.102)

unde vectorul erorilor de cuantizare b  n  b0  n b1  n bM 1  n este posibil să

T

includă şi componente bk  n , k  0,1, , M  1 de medie nenulă (Cioffi 1987). Ecuaţia

algoritmului LMS poate fi scrisă, prin urmare, astfel:
w  n  1  w  n  e  nu  n  b n (7.103)
Media statistică a vectorului coeficienţilor este în acest caz dată de (Cioffi 1987):
E w  n  1   I   R  E w  n  p  E b n (7.104)
În regim staţionar permanent, când w  n  1  w  , se poate scrie
1
E  w   R 1p  R 1b (7.105)

unde b este media vectorului erorilor de cuantizare.
Având în vedere că matricea de corelaţie R este hermitică, utilizăm ecuaţia (3.107)
pentru a o descompune după vectori şi valori proprii:
218 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

M
R = QΛQH   i qi  qiH (7.106)
i 1

unde i şi q i sunt valorile şi vectorii proprii ai matricii de corelaţie. Introducând ultima

relaţie în membrul drept al ecuaţiei (7.105), se obţine

q  qiH b 
M
1 1

R 1b 

i 1
i
1
i (7.107)

Termenii care corespund celor mai mici valori proprii domină această sumă, pentru că
proiecţiile vectorului erorilor de cuantizare pe vectorii proprii care le corespund sunt nenule.
Efectele acestor erori sistematice se cumulează, astfel încât este posibil, chiar şi pentru erori
de cuantizare reduse, ca valoarea coeficienţilor să crească şi să provoace depăşiri înainte ca
limita prescrisă de ecuaţia (7.105) să fie atinsă. Dacă se produce depăşire atunci
performanţele se deteriorează semnificativ. Şi mai serios este faptul că algoritmul LMS nu
va mai converge până ce coeficienţii nu sunt resetaţi, cu alte cuvinte se produce aşa-numita
„agăţare” a adaptării (Cioffi 1987). În plus, valorile mici ale pasului  contribuie la
creşterea erorilor de rotunjire cu un termen invers proporţional cu  .

Probleme
P 7.1 Algoritmul LMS este utilizat pentru a face predicţia înainte cu un pas a semnalului
u  n  cos  n 3 , utilizând un filtru FIR cu trei coeficienţi, primul coeficient
având valoarea fixată la 1, prin minimizarea valorii medii pătratice a lui y  n .
Calculaţi o valoare adecvată pentru pasul algoritmului  , semnalul de ieşire al
filtrului şi coeficienţii filtrului pentru primele 10 iteraţii. Valoarea iniţială a
coeficienţilor este wT 0  1 0 0 .
P 7.2 Semnalul u  n  0,85u  n  1  v  n
este aplicat la intrarea unui predictor cu doi coeficienţi, unde v  n este zgomot alb
gaussian cu varianţă  v2  0,3 . Se recomandă utilizarea MATLAB la rezolvarea
problemei.
(a) Calculaţi soluţia Wiener.
(b) Alegeţi o valoare adecvată pentru  şi reprezentaţi curba de învăţare a algo-
ritmului LMS pe suprafaţa de eroare EPM.
(c) Reprezentaţi curbele de învăţare ale EPM şi ale coeficienţilor filtrului, obţinute atât
printr-o rulare unică cât şi prin medierea a 25 de rulări.
P 7.3 Consideraţi procesul AR(1) u  n  au  n  1  v  n , unde v  n este zgomot alb
gaussian de varianţă  v2 . Dorim să proiectăm un predictor linear de ordinul unu
într-un pas, utilizând algoritmul LMS de mai jos:
 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) Probleme 219

uˆ  n   aˆ  n  1 u  n  1
e  n   u  n   uˆ  n 
aˆ  n   aˆ  n  1   e  n  u  n  1
unde  este pasul algoritmului.
(a) Determinaţi funcţia de autocorelaţie r l  , predictorul linear de ordinul unu optim
şi EPM minimă corespunzătoare.
(b) Utilizând ipoteza de independenţă, determinaţi mai întâi iar apoi rezolvaţi ecuaţia
cu diferenţe finite pentru E  aˆ  n .
(c) Utilizând MATLAB, pentru a  0,95;   0,025;  v2  1 şi 0  n  N  500 ,
determinaţi media pe ansamblu a lui E  aˆ  n utilizând 200 de rulări
independente şi comparaţi rezultatul cu curba teoretică obţinută la punctul (b).
(d) Utilizând ipoteza de independenţă, determinaţi mai întâi iar apoi rezolvaţi ecuaţia
cu diferenţe finite pentru P  n  E e  n .
(e) Reluaţi punctul (c) pentru P  n şi comentaţi rezultatele obţinute.
P 7.4 Utilizaţi algoritmul LMS pentru a identifica un sistem cu funcţia de transfer
1  z 12
H  z 
1  z 1
Semnalul de intrare este zgomot alb uniform distribuit cu varianţă  u2  1 iar
zgomotul de măsurare este zgomot alb gaussian necorelat cu intrarea şi de
varianţă  v2  103 . Filtrul adaptiv are 12 coeficienţi. Utilizaţi MATLAB pentru
rezolvare.
(a) Calculaţi max , valoarea maximă a pasului algoritmului, care asigură stabilitatea
acestuia.
(b) Rulaţi algoritmul pentru max 2, max 10 şi max 50 . Comentaţi comportarea
algoritmului în fiecare dintre aceste cazuri.
(c) Măsuraţi dezadaptarea M în fiecare din cazurile studiate la punctul (b) şi
comparaţi cu rezultatele obţinute prin ecuaţia (7.57).
(d) Reprezentaţi răspunsul în frecvenţă al filtrului FIR în fiecare din cazurile studiate
la punctul (b) şi comparaţi acesta cu caracteristica de frecvenţă a sistemului necu-
noscut.
P 7.5 Secvenţa u  n  cos  no    n reprezintă eşantioanele unui semnal modulat în
fază de bandă îngustă. Faza semnalului   n  este aleatoare, dar variază lent în
timp, adică   n    n  1    n  2 . Scopul problemei este detectarea
220 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

Figura 7.25 Schema de filtrare adaptivă utilizată în

problema P 7.5.

frecvenţei purtătoarei o a semnalului u  n . Coeficienţii filtrului w  n se

ajustează astfel încât să minimizeze semnalul de ieşire y  n în sensul mediei
pătratice. Se propune să se utilizeze schema de filtrare adaptivă prezentată în
Figura 7.25. Coeficientul w n este astfel ajustat încât să minimizeze semnalul de
ieşire y  n în sensul mediei pătratice.
(a) Arătaţi că valoarea optimă a coeficientului w este
wo  2cos o
(b) Formulaţi algoritmul LMS pentru problema de faţă. În particular, specificaţi
vectorul coeficienţilor filtrului, w  n , vectorul de intrare x  n , ieşirea dorită,
d  n şi modul în care este definită eroarea de la ieşirea filtrului în acest caz.
P 7.6 Schema bloc din Figura 7.26 reprezintă modelarea adaptivă a unui sistem
necunoscut, în care filtrul adaptiv transversal este controlat de o versiune
modificată a algoritmului LMS. Semnalul de ieşire notat cu d  n are expresia:
d  n  wTo  n u  n  v  n
unde w o este vectorul (necunoscut) al parametrilor modelului, u  n este vectorul
de intrare (regresor) iar v  n este constituit din eşantioane ale unui proces de tip
zgomot alb de medie nulă şi de dispersia  v2 . În particular, vectorul coeficienţilor
filtrului transversal w  n este ales astfel încât să minimeze indicele de
performanţă:
J  w, K   E e2 K  n pentru K  1,2,3,
(a) Utilizând vectorul gradient instantaneu, să se arate că nouă ecuaţie de adaptare
pentru estimatul corespunzător vectorilor ponderilor este
ˆ  n  1  w
w ˆ  n   Ku  n e2 K 1  n
 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) Probleme 221

Figura 7.26 Schemă de modelare a unui sistem necunos-

cut utilizată în problema P 7.6.

(b) Se presupune că vectorul erorii coeficienţilor c  n  w

ˆ  n  wo este aproape nul
şi că v  n este independent de u  n . Să se arate că:
E c  n  1   I   K  2K  1  E v 2 K 2  n RE c n

unde R este matricea de corelaţie a vectorului de intrare u  n .

(c) Să se arate că algoritmul LMS modificat descris la punctul (a) converge în valoare
medie dacă parametrul  satisface condiţia:
2
0 
K  2 K  1 E v 2 K 1  n max

unde max este cea mai mare valoare proprie a matricii de corelaţie R .
P 7.7 Consideraţi sistemul de anulare a zgomotului prezentat în Figura 7.27. Semnalul
util este sinusoida s  n  cos  0 n    , unde 0   16 şi faza  este o varia-
bilă aleatoare uniform distribuită pe intervalul 0 şi 2 . Semnalele de zgomot sunt
date de v1  n  0,9v1  n  1  w n şi v2  n  0,75v2  n  1  wn , unde
secvenţa w n este zgomot alb gaussian de medie nulă şi varianţă unitară.

Figura 7.27 Sistemul de anulare a zgomotului utilizat în problema

P 7.7.
222 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7

Figura 7.28 Schema bloc a sistemului de studiu al performantelor blocului adaptiv de

suprimare a ecoului din problema P 7.8.
(a) Proiectaţi un filtru optimal de lungime M şi alegeţi o valoare rezonabilă pentru
M o , reprezentând grafic dependenţa dintre EPM minimă şi M.
(b) Proiectaţi un filtru LMS cu M o coeficienţi şi alegeţi pasul algoritmului  astfel
încât dezadaptarea M să aibă valoarea 10%.
(c) Reprezentaţi semnalele s  n , s  n  v1  n , v2 n , semnalul de eroare furnizat de
filtrul optimal eo  n şi semnalul de eroare eLMS  n dat de filtrul LMS. Comentaţi
rezultatele obţinute.
P 7.8 Utilizând MATLAB, reprezentaţi curbele de învăţare LMS ale sistemului din
Figura 7.28, pentru   0,005 şi   0,02 . Generatoarele de date A şi B transmit
simbolurile +1 şi -1 cu probabilitate egală. Filtrul FIR de la ieşirea lui A care
modelează calea de ecou are răspunsul la impuls
wo  n   53  12   83  54  , 0  n  M  1
n n

unde M  20 este lungimea totală a căii de ecou. Filtrul de la ieşirea generatoru-

lui B modelează calea de transmisie de la emiţător la receptor, fiind caracterizat de
g  n  54  53 
n

Zgomotul generat de generatorul de zgomot este alb gaussian de medie nulă şi

 v2  1 şi modelează zgomotul de transmisie. Semnalul r  n este astfel scalat încât
10lg  d2  r2   30dB , iar valoarea iniţială a coeficienţilor filtrului adaptiv este
w  0  0 .
Curbele de învăţare pentru EPM de la ieşirea e  n  sunt rezultatul medierii pe
ansamblul a 200 de realizări individuale.
 8
Capitolul

8 Algoritmi derivaţi din

algoritmul LMS
xistă un număr de algoritmi de filtrare adaptivă care provin din algoritmul LMS

E convenţional prezentat în Capitolul precedent. Obiectivul acestor algoritmi LMS

alternativi este, fie să reducă complexitatea şi volumul de calcul, fie să reducă timpul
de convergenţă. Vom prezenta şi analiza în continuare câţiva algoritmi care provin din algo-
ritmul LMS şi anume: algoritmii LMS cu semn (Ciochină şi Negrescu 1999, Verkhoecx şi
Claasen 1984), algoritmul LMS cu transformare de domeniu, sau LMS în domeniul frecven-
ţă (Farhang-Boroujeny 1998, Narayan, ş.a. 1983), algoritmul LMS normalizat (Alexander
1986, Ciochină şi Negrescu 1999), algoritmi de proiecţie afină (Diniz 2008, Ozeki şi Umeda
1984) şi, în sfârşit, algoritmii LMS pentru structuri de filtrare lattice (Clarkson 1993,
Griffiths 1977).
Algoritmii LMS cu semn au o complexitate de calcul redusă în raport cu algoritmul
standard, întrucât limitează reprezentarea semnalelor ce intervin în algoritmul LMS la
semnul lor.
Algoritmul LMS normalizat utilizează un pas variabil al algoritmului care minimizează
eroarea instantanee. Un asemenea pas reduce timpul de convergenţă a algoritmului dar
măreşte totodată dezadaptarea acestuia.
Algoritmul cu transformare de domeniu aplică o transformare asupra semnalului de
intrare pentru a reduce gradul de împrăştiere a valorilor proprii ale matricii de corelaţie a
semnalului transformat în raport cu împrăştierea valorilor proprii ale matricii de corelaţie a
semnalului de intrare. Aplicarea algoritmului LMS asupra semnalului transformat permite
realizarea unei convergenţe mai rapide.
Algoritmul de proiecţie afină refoloseşte date mai vechi în scopul realizării unei
convergenţe rapide atunci când semnalul de intrare este puternic corelat, deschizând calea
către o famile de algoritmi care armonizează efortul de calcul cu viteza de convergenţă.
224 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

8.1 Algoritmi LMS cu semn

În cazul algoritmului LMS determinarea setului de coeficienţi pentru pasul următor necesită
în total 2M  1 înmulţiri reale şi 2M adunări pentru fiecare iteraţie. Deşi volumul de calcul
este mic în comparaţie cu alţi algoritmi mai elaboraţi, există situaţii când se doreşte reduce-
rea la maximum a numărului de operaţii matematice sau simplificarea implementării hard-
ware. Un caz tipic este cel al prelucrării digitale a semnalului TV, situaţie în care debitul
mare al datelor pune probleme atunci când se urmăreşte realizarea prelucrării în timp real. În
aceste situaţii se folosesc algoritmi LMS cu semn. Cei mai importanţi membri ai aceste clase
de algoritmi sunt prezentaţi în continuare.

8.1.1 Algoritmul LMS cu semnul erorii

Algoritmul LMS cu semnul erorii foloseşte pentru actualizarea ponderilor semnul secvenţei
de eroare în locul valorilor e  n  propriu-zise. Expresia algoritmului LMS standard:
ˆ  n  1  w
w ˆ  n  u  n e*  n (8.1)
este înlocuită acum, în cazul unor semnale de intrare u  n reale prin (vezi Tabelul 8.1)
w ˆ  n  se sgn  e  n u  n
ˆ  n  1  w (8.2)

Din cauza înlocuirii erorii e  n  prin semnul ei, implementarea acestei ecuaţii de recursie
poate fi mult mai simplă şi eficientă decât utilizarea algoritmului LMS standard, în special în
aplicaţiile de mare viteză unde este necesar ca recursia de adaptare să fie realizată în
hardware. Mai mult, de obicei pasul  se al algoritmului este o putere a lui doi, astfel încât
Tabelul 8.1 Algoritmul LMS cu semnul erorii

1. Se alege o valoare convenabilă pentru pasul  se . Se iniţializează

variabila contor  n  0  şi vectorul pondere:
ˆ 0  0 0 0
T
w
2. Se calculează ieşirea curentă a filtrului:
y  n  w
ˆ T  n u  n
3. Se determină eşantionul curent al secvenţei de eroare:
e  n  d  n  y  n
4. Se calculează semnul erorii:
  sgn  e  n
5. Se calculează vectorul pondere pentru pasul următor:
wˆ  n  1  w
ˆ  n  se u  n
6. Se incrementează variabila contor  n  n  1 şi se execută un
salt la 2.
 8.1 Algoritmi LMS cu semn 225

pentru a implementa ecuaţia (8.2) nu este necesară vreo operaţie de multiplicare. Operaţii de
deplasare combinate cu adunări sau scăderi sunt suficiente pentru a actualiza coeficienţii
filtrului adaptiv.
O justificare pentru algoritm pleacă de la observaţia că, dacă algoritmul LMS se obţine
pornind de la criteriul minimizării erorii pătratice medii (EPM), pentru derivarea algoritmu-
lui LMS cu semnul erorii se utilizează criteriul minimizării valorii absolute medii a erorii
(Benesty 2004):
J a  n  E  e  n   E  d  n  wT u  n  (8.3)

Gradientul funcţiei J a  n este

 Ja
J a  n    E u  n sgn  e  n (8.4)
w
Estimarea valorii instantanee a gradientului se face, prin urmare, cu expresia:
ˆ J  n  u  n sgn  e  n (8.5)
a

ceea ce se constituie într-o justificare a relaţiei de definire a algoritmului (8.2).

Eroarea semnalului, e  n  d  n  wˆ T  n u  n , este denumită de asemenea eroare
apriori, pentru că în calculul ei se utilizează valorile coeficienţilor filtrului de dinainte de
actualizare. Eroarea aposteriori   n se defineşte prin:
  n  d  n  w
ˆ T  n  1 u  n (8.6)
şi se calculează odată ce actualizarea a fost efectuată.
Algoritmul poate fi considerat stabil dacă valoarea absolută a erorii „aposteriori” este
mai mică decât cea a erorii „apriori”, ceea ce este logic întrucât   n beneficiază de mai
multe informaţii decât e  n  . Calculăm   n :
 uT  n  u  n  
  n  e  n 1  se  (8.7)

 e  n 

şi impunem condiţia:   n  e  n (8.8)

Din (8.8) şi (8.7) se deduce condiţia de stabilitate a algoritmului LMS cu semnul erorii:
2 e  n
0  se  (8.9)
u  n u  n
T

Dezavantajul algoritmului este că utilizează un estimat mai zgomotos al semnalului de

eroare, ceea ce are drept consecinţă creşterea fluctuaţiilor ponderilor în jurul valorilor
optime. Pentru ca soluţia de regim permanent să aibă o calitate comparabilă cu cea a algorit-
mului LMS standard, este necesară micşorarea constantei  de adaptare, ceea ce face în
226 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

consecinţă ca timpii necesari atingerii regimului permanent să crească, ducând la scăderea

posibilităţilor de urmărire în cazul unor semnale de intrare nestaţionare.

8.1.2 Algoritmul LMS cu semnul datelor

Algoritmul LMS cu semnul datelor utilizează pentru actualizarea ponderilor în locul
eşantioanelor semnalului de intrare u  n  l  doar semnul acestora sgn  u  n  l  ,
adică:
w ˆ  n  sd e  n sgn  u  n
ˆ  n  1  w (8.10)

sgn  u  n  sgn  u  n sgn  u  n  1 sgn  u  n  M  1

T
unde: (8.11)
Condiţia de stabilitate a algoritmului, dedusă ca în (8.9), se scrie, în acest caz, astfel:
2
0  sd  (8.12)
u  n sgn  u  n
T

Deşi din punct de vedere a formei sunt similare, algoritmul LMS cu semnul datelor are
performanţe mult mai bune decât algoritmul LMS cu semnul erorii.

8.1.3 Algoritmul LMS semn-semn

Algoritmul LMS semn-semn cum îi spune numele, combină algoritmii cu semnul erorii cu
algoritmul cu semnul datelor. El actualizează vectorul ponderilor fără nici o multiplicare,
conform relaţiei:
w ˆ  n  ss sgn  e  n sgn  u  n
ˆ  n  1  w (8.13)
Condiţia de stabilitate este
2 e  n
0  ss  (8.14)
u  n sgn  u  n
T

În acest caz, estimatul folosit este mai zgomotos faţă de cazurile precedente, performanţele
fiind, în consecinţă, mai slabe. Totuşi, această variantă cunoaşte o largă răspândire, constitu-
ind standardul CCITT pentru transmisiile ADPCM (Adaptive Differential Pulse Code
Modulation) (Treichler, ş.a. 1986).
Vom remarca că, chiar dacă în multe cazuri algoritmii simplificaţi par să conveargă
către soluţia Wiener-Hopf optimă, în general, această afirmaţie nu poate fi susţinută. De
exemplu, algoritmul semn-semn converge către un set de coeficienţi care satisfac ecuaţia
E sgn  e  n u  n  0 (8.15)
care, în general, poate să nu fie echivalentă cu principiul ortogonalităţii care conduce la
soluţia Wiener-Hopf:
E e  n u  n  0 (8.16)
 8.2 Algoritmul LMS normalizat 227

Figura 8.1 Curbele de învăţare ale EPM pentru algoritmii:

(a) LMS standard, (b) LMS cu semnul erorii, (c)
LMS cu semnul datelor, (c) LMS semn-semn.

Cu toate acestea, în cele mai multe cazuri, soluţiile obţinute prin (8.15) şi (8.16) sunt, de
obicei, identice.
Exemplul 8.1: În scopul evaluării şi comparării performanţelor algoritmilor cu
semn şi ale algoritmului LMS standard, s-a utilizat problema de identificare de
sistem introdusă în Exemplul 7.3 din Capitolul 7. La intrare s-a aplicat semnalul
furnizat de filtrul H 2  z  , caracterizat de gradul de împrăştiere   R   28,7 .
Valoarea parametrilor de pas pentru diverşii algoritmi s-a stabilit experimental
astfel încât, indiferent de algoritm, în regim staţionar să se atingă aceiaşi valoare
a erorii pătratice medii. Curbele de învăţare ale EPM prezentate în Figura 8.1
sunt rezultatul al 100 de rulări independente.
Principalele concluzii care pot fi trase pe baza graficului din Figura 8.1 evidenţiază în
primul rând faptul că algoritmul LMS cu semnul datelor este numai uşor mai lent decât
versiunea standard a algoritmului. Totuşi, algoritmii cu semnul erorii şi semn-semn sunt
ambele mult mai lente decât algoritmul convenţional. Modul în care se produce convergenţa
în aceste cazuri este particular: iniţial, viteza de convergenţă este extrem de redusă, aceasta
crescând mult, pe măsură ce nivelul EPM se reduce.

8.2 Algoritmul LMS normalizat

8.2.1 Deducerea algoritmului
Algoritmul LMS normalizat (Normalised LMS - NLMS) trebuie văzut drept o implementare
specială a algoritmului LMS care ia în considerare variaţia nivelului semnalului de la intra-
rea filtrului şi determină pe baza acestuia mărimea pasului de convergenţă  astfel încât să
se obţină un algoritm mai stabil şi cu o viteză de convergenţă mai mare. Algoritmul NLMS
poate fi dezvoltat pe baza a mai multor puncte de vedere. Vom adopta în continuare, aborda-
228 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

rea făcută de Goodwin şi Sin (1984), care au formulat algoritmul NLMS ca o problemă de
optimizare cu constrângeri. Pentru simplificarea aparatului matematic, vom aborda cazul în
care atât semnalul cât şi coeficienţii filtrului au valori reale (Alexander 1986). Soluţia în
cazul general, în care mărimile sunt complexe, este o generalizare a soluţiei particulare la
care vom ajunge.
În cazul algoritmului LMS pentru valori reale, corecţia w ˆ  n  1  w
ˆ  n  1  w
ˆ  n
cu care se face actualizarea vectorului ponderilor este de forma:
ˆ  n  1  u  n e  n
w (8.17)
fiind direct proporţională cu mărimea semnalului de intrare. Dacă norma lui u  n este
mare, are loc fenomenul de amplificare a zgomotului de estimare a gradientului. Această
dificultate poate fi depăşită de algoritmul LMS normalizat în care pasul de adaptare este
invers proporţional cu norma semnalului de intrare.
Algoritmul LMS normalizat poate fi privit ca o problemă de optimizare cu constrângeri
alcătuită dintr-o condiţie de optimizare cu constrângeri şi o constrângere:
ˆ  n  1 ,
1. Condiţia de optimizare impune ca valorile actualizate ale coeficienţilor, w
să fie determinate astfel încât variaţia vectorul ponderilor:
ˆ  n  1  w
w ˆ  n  1  w
ˆ  n (8.18)
să fie minimă.
2. Constrângerea impusă este:
ˆ T  n  1 u  n  d  n
w (8.19)
Cu alte cuvinte: valoarea noilor coeficienţi după actualizare, ar fi anulat la
momentul anterior valoarea erorii.
În cazul problemelor de optimizare cu constrângeri, se utilizează metoda multiplicatori-
lor Lagrange (vezi paragraful 7.5 al acestei lucrări). Funcţia de cost J  c   n este astfel
definită încât să reflecte cele două condiţii care stabilesc problema de optimizare. Metoda
minimizează în cazul nostru funcţia de cost definită prin relaţia:
ˆ  n  1    w
J  c   n  w ˆ T  n  1 uˆ  n  d  n
2
(8.20)
unde  reprezintă aşa-numitul multiplicator al lui Lagrange. Şi în acest caz, rezolvarea
problemei constă în determinarea soluţiei care anulează gradientul funcţiei de cost. Deci:
J  c   n  0 (8.21)
Începem calculul gradientului funcţiei de cost prin dezvoltarea expresiei (8.20):
J c  n   w ˆ T  n   w
ˆ T  n  1  w ˆ  n     w
ˆ  n  1  w ˆ T  n  1 u  n   d  n 
ˆ T  n  1 w
w ˆ  n  1  w
ˆ T  n  1 w
ˆ n  w
ˆ T n w
ˆ  n  1 (8.22)
ˆ T  n w
w ˆ  n   w
ˆ  n  1 u  n    d  n 
 8.2 Algoritmul LMS normalizat 229

ˆ  n  1 . Avem succesiv:
Gradientul  se calculează în raport cu noile ponderi w

 w
ˆ T  n  1 w  n  1  2w
ˆ  n  1 ,
 w
ˆ T  n  1 w
ˆ  n  w ˆ  n  1  2w
ˆ T  n w ˆ n, (8.23)
 w
ˆ T  n  1 u  n   u  n .

Prin urmare: J  c   n  2w
ˆ  n  1  2w
ˆ  n   u  n  (8.24)
Egalând cu zero expresia (8.24) se obţine relaţia de actualizare a coeficienţilor:
1
wˆ  n  1  w
ˆ  n   u  n  (8.25)
2
Determinarea valorii multiplicatorului Lagrange se face impunând constrângerea (8.19).
În ecuaţia (8.25) înmulţim la stânga ambii membri cu uT  n :
1
uT  n w
ˆ  n  1  uT  n w
ˆ  n   uT  n u  n (8.26)
2
În continuare, în relaţia (8.26) putem distinge:
uT  n w
ˆ  n  1  d  n şi uT  n u  n  u  n
2
(8.27)
Prin urmare, multiplicatorul Lagrange are valoarea:

 d n  u n wˆ n    

2 2e n
  T
(8.28)
u  n u  n
2 2

iar relaţia de actualizare a vectorului coeficienţilor se calculează, înlocuind multiplicatorul

Lagrange din (8.28) în relaţia (8.25):
1
ˆ  n  1  w
w ˆ  n  u  n e  n (8.29)
u  n
2

Se obişnuieşte să se introducă pentru algoritmul NLMS un pas variabil  :


ˆ  n  1  w
w ˆ  n  u  n e  n (8.30)
u  n
2

Compararea ultimei expresii cu ecuaţia care defineşte algoritmul LMS, (8.1), duce la consta-
tarea imediată, că algoritmul LMS normalizat poate fi echivalat cu algoritmul gradientului
stochastic, dacă considerăm că în cazul algoritmului NLMS locul pasului fix al algoritmului
LMS standard,  , este luat de pasul variabil,   n :

  n  (8.31)
u  n
2
230 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

La o primă vedere, conform ecuaţiei (8.30), fiecare iteraţie a algoritmului NLMS

necesită, pentru calculul lui u  n , un număr suplimentar de M multiplicări şi M  1
2

adunări. Acest efort de calcul poate fi redus, dacă se utilizează M locaţii suplimentare de
memorie şi se face apel la formula de tip fereastră alunecătoare:
M 1
u  n   u  n  k   u  n  1  u  n  u  n  M 
2 2 2 2 2
(8.32)
k 0

unde u  1  0 . Efortul de calcul al formulei (8.32) s-a redus astfel la o înmulţire şi două
2

adunări.
În practică, pentru a evita împărţirea cu zero, dacă u  n  0 , se adaugă la numitor o
mică cantitate,   0 :

ˆ  n  1  w
w ˆ  n  u  n e  n (8.33)
  u  n
2

Generalizarea ecuaţiei (8.33) pentru semnale complexe este directă:


ˆ  n  1  w
w ˆ  n  u  n e*  n  (8.34)
  u  n
2

În Tabelul 8.2 sunt rezumate operaţiunile necesare implementării algoritmului LMS norma-
lizat.

8.2.2 Stabilitatea algoritmului NLMS

Algoritmul poate fi considerat stabil dacă   n  e  n , unde   n este eroarea „aposte-
riori”. Înlocuind ecuaţia algoritmului NLMS (8.30) în expresia erorii „aposteriori” (8.6) se
obţine:
  n  d  n  w
ˆ T  n  1 u  n
(8.35)
 d  n  w
ˆ T  n u  n   e  n  e  n  1   
Prin urmare:
1    en  en  1   1 0    2 (8.36)
În aceste condiţii, constanta  poate fi privită atât drept un parametru care controlează
viteza de convergenţă a algoritmului cât şi dezadaptarea acestuia.
Impunând condiţii mai riguroase, Rupp (1993), Slock (1993) au arătat că algoritmul
NLMS converge în medie pătratică dacă
0    1, (8.37)
ceea ce face ca alegerea parametrului de pas  să fie mult mai simplă decât stabilirea valorii
lui  în cazul algoritmului LMS.
 8.2 Algoritmul LMS normalizat 231
Tabelul 8.2 Algoritmul LMS normalizat

1. Se alege o valoare convenabilă pentru pasul  şi constanta  . Se

iniţializează variabila contor  n  0  , vectorul pondere şi vectorul
de semnal :
ˆ 0  u  1  0 0 0
T
w
2. Se calculează ieşirea curentă a filtrului:
y  n  wˆ H  n u  n
3. Se determină eşantionul curent al secvenţei de eroare:
e  n  d  n  y  n
4. Se calculează pătratul eşantionului curent de intrare u  n .
2

5. Se calculează pătratul normei semnalului de intrare:

u  n  u  n  1  u  n  u  n  M 
2 2 2 2

6. Se calculează vectorul pondere pentru pasul următor:


ˆ  n  1  w
w ˆ  n  u  n e*  n 
  u  n
2

7. Se incrementează variabila contor  n  n  1 şi se execută un salt

la 2.

Exemplul 8.2: Vom compara, în cele ce urmează, performanţele algoritmilor

LMS şi NLMS, în condiţii de lucru similare. Reluăm, în acest scop, experimentul cu
egalizorul adaptiv, studiat în Exemplul 7.4.
Asigurarea echivalenţei condiţiilor de acţiune a celor doi algoritmi s-a făcut,
prin stabilirea în mod experimental a valorilor pasului celor doi algoritmi,  ,
respectiv  astfel încât valorile EPM de regim staţionar să fie egale pentru cei
doi algoritmi.
Experimentul este realizat în conformitate cu schema bloc din Figura 7.10,
canalul de comunicaţii este modelat prin relaţia (7.70) cu parametrul de canal
W  2,9 . Cele două filtre sunt realizate cu M  11 coeficienţi. Utilizarea
facilităţilor oferite de pachetul MATLAB ne-a permis să stabilim că, pentru ca
valoarea finală a EPM să fie în ambele situaţii J   0,0025 , se alege   0,06
în cazul LMS şi   0,75 în cazul NLMS. Figura 8.2 prezintă rezultatele obţinute.
Experimentul descris evidenţiază, ca o caracteristică generală, că algoritmul LMS
normalizat prezintă o rată de convergenţă potenţial mai rapidă decât algoritmul LMS
standard. Avantajele algoritmului NLMS în raport cu LMS standard devin şi mai evidente,
în condiţiile unor semnale de intrare nestaţionare, situaţie în care, capacitatea NLMS de a
232 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

Figura 8.2 Compararea performanţelor algoritmilor LMS şi

NLMS din punctul de vedere a evoluţiei EPM.

urmări variaţiile parametrilor statistici ai semnalelor prelucrate este, evident, superioară

performanţelor LMS standard.

8.3 Algoritmul LMS-Newton

Algoritmul utilizează estimări temporale ale matricii de corelaţie R în scopul creşterii
vitezei de convergenţă a algoritmului LMS în situaţiile în care semnalul de intrare este
puternic corelat. Progresele realizate în privinţa vitezei de convergenţă sunt realizate cu
preţul creşterii complexităţii calculelor.
Punctul de pornire a algoritmului LMS-Newton este metoda Newton introdusă în
Capitolul 6. Aceasta minimizează EPM într-un singur pas la momentul n  1 , calculând
coeficienţii filtrului prin relaţia (6.66) pe care o reluăm în continuare:
1
w  n  1  w  n  R 1wn J  n (8.38)
2
În cazul ideal, atunci când matricea R şi vectorul gradient wn J  n se cunosc cu precizie,
w  n  1  R 1p  wo . Prin urmare, metoda Newton converge către soluţia optimală într-o
singură iteraţie, ceea ce este de aşteptat în cazul unei funcţii obiectiv pătratice.
În practică, sunt disponibile numai nişte estimări ale matricii R şi ale vectorului
wn J  n . Aceste estimări pot fi introduse în formula de actualizare (8.38), definind astfel
o metodă de tip Newton prin:

w n   
1
ˆ  n  1  w
w ˆ  n   N R
ˆ 1
ˆ J n (8.39)
2
 8.3 Algoritmul LMS-Newton 233

S-a introdus factorul de convergenţă (pas)  N în scopul protejării algoritmului de divergen-

ţa datorată utilizării unor estimări prea „zgomotoase” a mărimilor R şi wn J  n .
Dacă în ecuaţia (8.39) se înlocuieşte estimarea vectorului gradient cu relaţia
wn  J  n  2e  n u  n (vezi ecuaţia (7.4) din Capitolul 7), rezultă formula ce defineşte
ˆ
ecuaţia de actualizare a algoritmului LMS-Newton:
ˆ  n  1  w
w ˆ  n   N e  n R
ˆ 1  n u  n (8.40)
Pentru semnale de intrare staţionare şi reale, o estimare a lui R este
n
ˆ  n  1  u i  uT i   n R
R ˆ  n  1  1 u  nuT  n (8.41)
n  1 i 0 n 1 n 1
Estimarea este „nedeplasată”, întrucât:
ˆ  n  1 n
E  R   E u i  uT i   R (8.42)
n  1 i 0
Totuşi, estimarea lui R prin relaţia (8.41) nu este practică, pentru că la n mare, orice
schimbare în statistica semnalului de intrare va fi neglijată din cauza memoriei infinite a
algoritmului de estimare.
O altă modalitate de estimare a matricii de corelaţie poate fi generată prin folosirea unei
sumări ponderate, după cum urmează:
Rˆ  n   u  n  uT  n  1    R
ˆ  n  1
n 1 (8.43)
  u  n uT  n    1    u  i  uT  i 
n i

i 0

unde în practică,  este un factor mic ales în gama 0    0,1 . Acest domeniu de valori
ale lui  permite un bun echilibru între valorile prezente şi trecute de informaţie. Calculând
media statistică în ambii membri ai relaţiei (8.43) şi presupunând că n   , rezultă
n
ˆ  n    1   n i E u i  uT i   R, n  
E  R (8.44)
  
i 0

Drept urmare, estimarea lui R din ecuaţia (8.43) este „nedeplasată”.

ˆ  n , operaţie necesară conform ecuaţiei
Pentru a evita operaţia de inversare a matricii R
(8.39), se poate utiliza aşa-numita lemă de inversare matricială definită prin relaţia
 A1  A1B  DA1B  C1  DA1
1
 A  BCD
1
(8.45)
unde A, B, C şi D sunt matrici de dimensiuni adecvate iar A şi C sunt matrici nesingulare.
Relaţia de mai sus poate fi demonstrată, arătând că prin premultiplicarea membrului drept al
ecuaţiei cu A  BCD rezultă matricea identitate. Alegând A  1    R ˆ  n  1 ,
B  DT  u  n şi C   , se poate arăta că
234 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

ˆ  n  1  R  n  1 u  n u  n R  n  1 
 1 ˆ 1 T ˆ 1 
ˆ 1  n  1  R
R (8.46)
1      u  n  R  n  1 u  n 
1 T ˆ 1 

ˆ 1  n este mai puţin complexă de actualizat (numărul
Ecuaţia de calcul al lui R
multiplicărilor este de ordinul a M 2 operaţii) decât inversarea directă la fiecare iteraţie a
ˆ  n (multiplicări de ordinul a M 3 operaţii).
matricii R
Algoritmul LMS-Newton complet este prezentat în Tabelul 8.3. Trebuie remarcat că
sunt posibile şi alte proceduri de iniţializare decât cea utilizată în tabel.
După cum am subliniat în Capitolul 7, direcţia gradientului estimat are tendinţa să se
apropie de direcţia ideală a gradientului. Similar, vectorul care rezultă din produsul lui
Rˆ 1  n cu gradientul estimat tinde să se apropie de direcţia Newton. În consecinţă, putem
concluziona că algoritmul LMS-Newton converge într-o manieră mult mai directă spre
minimul suprafeţei de eroare decât alţi algoritmi LMS. Se poate arăta, de asemenea că în
cazul algoritmului LMS-Newton, convergenţa acestuia este independentă de împrăştierea
valorilor proprii ale lui R .
Algoritmul LMS-Newton este matematic identic cu algoritmul RLS dacă factorul de
uitare  al algoritmului RLS se alege astfel încât 2    1   (Diniz 2008). Întrucât vom
discuta pe larg despre algoritmul RLS ceva mai târziu, vom încheia aici discuţia despre
algoritmul LMS-Newton.

Tabelul 8.3 Algoritmul LMS-Newton

1. Iniţializare:
Rˆ 1  1   I ( este o constantă pozitivă mică)

ˆ 0  u  1  0 0 0
T
w
2. Se calculează ieşirea curentă a filtrului:
y  n  wˆ T  n u  n
3. Se determină eşantionul curent al secvenţei de eroare:
e  n  d  n  y  n
4. Se calculează estimatul inversei matricii de corelaţie:
1  ˆ 1 Rˆ 1  n  1 u  n uT  n R ˆ 1  n  1 
R  n 
ˆ 1
 R  n  1  1 
1      u  n  R  n  1 u  n 
T ˆ 1 

5. Se calculează vectorul pondere pentru pasul următor:
wˆ  n  1  wˆ  n   N e  n R ˆ 1  n u  n
6. Se incrementează variabila contor  n  n  1 şi se execută salt la
2.
 8.4 Algoritmi LMS cu transformare de domeniu 235

8.4 Algoritmi LMS cu transformare de

domeniu
Convergenţa algoritmilor de tip LMS depinde puternic de nivelul în care semnalul de la
intrarea filtrului este corelat şi, în particular, de gradul de împrăştiere a valorilor proprii ale
matricii de corelaţie R .
Filtrele adaptive cu transformare de domeniu (TDAF – Transform Domain Adaptive
Filter) exploatează proprietăţile de decorelare pe care le au anumite transformări de semnal
bine-cunoscute, precum transformarea Fourier discretă (DFT) sau transformarea cosinus
discretă (DCT). Aplicarea acestor transformări asupra datelor de intrare determină „albirea”
(sau decorelarea) acestora cu câştiguri imediate în ceea ce priveşte convergenţa algoritmului.
Creşterea performanţelor filtrelor TDAF este, de regulă, dependentă de gradul de corelaţie a
semnalului şi, prin urmare, gradul de succes al metodei variază de la semnal la semnal şi de
la transformare la transformare. Efortul de calcul rămâne şi în cazul TDAF de ordinul a
O  M  operaţii pe eşantion pentru un filtru de lungime M.

8.4.1 Principiul filtrării adaptive TDAF

Scopul algoritmului LMS cu transformare de domeniu este de a mări viteza de convergenţă
în raport cu algoritmul LMS convenţional în cazul secvenţelor de intrare puternic corelate.
Ideea fundamentală este de a modifica semnalul aplicat la intrarea filtrului adaptiv astfel
încât gradul de împrăştiere a valorilor proprii ale matricii corespunzătoare de corelaţie să se
reducă.
În algoritmul LMS cu transformare de domeniu, vectorul semnalului de intrare u  n
este transformat, prin aplicarea transformării ortonormate (sau unitare) T , în vectorul „mai
convenabil” u  n (vezi Figura 8.3):
u  n  Tu  n (8.47)
unde T reprezintă matricea de dimensiune M  M a transformării, aleasă astfel încât
transformarea să fie unitară:
TTH  TH T  I M (8.48)
Expresia semnalului de ieşire al filtrului TDAF este
y  n  w
ˆ H  n u  n (8.49)
iar funcţia de cost J  n se exprimă prin:

J  n  E  e  n    d2  w
ˆ H pT  pTH w
ˆ w
ˆ H RT w
ˆ
2
(8.50)
 
236 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

Figura 8.3 Filtrul adaptiv cu transformare de domeniu.

unde RT  E u  n u H  n , pT  E u  n d *  n iar  d2  E  d  n  . Egalând gradien-

2

 
tul lui J  n cu zero se obţine ecuaţia Wiener-Hopf ce dă coeficienţii filtrului TDAF
optimal:
wo  RT1pT (8.51)
Înlocuim ultima valoare în (8.50) iar rezultatul obţinut este valoarea minimă a erorii pătrati-
ce medii a filtrului cu transformarea unitară T:
J min   d2  pTH RT1pT (8.52)
Vom compara eroarea minimă (8.52) cu valoarea EPM minime obţinute în cazul unui
filtru adaptiv convenţional. În acest scop, calculăm:
RT  E u  n u H  n  TE u  nu H  n TH  TRTH (8.53)

şi pT  E u  n d *  n  TE u  n d *  n  Tp (8.54)

Înlocuind (8.53) şi (8.54) în (8.52), şi ţinând cont de (8.48), se obţine după câteva operaţii
J min   d2  p H R 1p (8.55)
Acest rezultat este identic cu cel obţinut în Capitolul 4. El indică faptul că eroarea mini-
mă la filtrarea adaptivă TDAF este identică cu cea obţinută în cazul convenţional. Rezultatul
este absolut normal şi poate fi înţeles intuitiv având în vedere că transformarea
u  n  Tu  n este reversibilă, adică u  n  TH u  n . În consecinţă, între coeficienţii
filtrului TDAF şi cei ai filtrului convenţional există, de asemenea, aceiaşi relaţie:
 8.4 Algoritmi LMS cu transformare de domeniu 237

w  n  Tw  n (8.56)
Înainte de a intra în detaliile filtrării TDAF, vom prezenta în următorul paragraf caracte-
ristici deosebite ale transformărilor ortogonale care le fac foarte promiţătoare din punctul de
vedere a algoritmilor cu transformare de domeniu.

8.4.2 Transformări ortogonale

Există mai multe transformări ortogonale care realizează cu mai mult sau mai puţin succes
filtrarea adaptivă de domeniu. De exemplu, matricea T poate realiza transformarea Fourier
discretă (DFT - vezi paragraful 2.6). În acest caz, elementul f kl al matricii TDFT are
expresia
2 kl
1 j
f kl e , k , l  0,1, , M  1
M
(8.57)
M
O altă transformare ortogonală importantă este transformarea cosinus discretă (DCT – vezi
paragraful 2.8). Se utilizează şi alte transformări în filtrarea adaptivă TDAF: transformarea
sinus discretă şi transformarea Hartley discretă (Diniz 2008, Sayed 2008). De remarcat că
nu există o soluţie optimă în ceea ce priveşte alegerea transformării, iar această alegere
depinde de tipul aplicaţiei şi al semnalelor care se prelucrează în aceasta. Sunt şi alte
considerente, ca de exemplu viteza de calcul, care concură la alegerea transformării într-o
aplicaţie dată.
În calitate de exemplu de transformare ortogonală vom examina în continuare transfor-
marea cosinus discretă. DCT a fost definită în Capitolul 2 prin ecuaţiile (2.20)-(2.22), modi-
ficate în aşa fel încât transformarea să fie unitară. Definim acum transformarea DCT a
secvenţei u  n , u  n  1 , , u  n  M  1 prin
M 1
uk  n   ckl u  n  l , k  0,1, , M 1 (8.58)
l 0

unde coeficienţii utilizaţi de transformarea DCT sunt:

1 M , k 0

ckl     2l  1 k (8.59)
 2 M cos , k  1, 2, , M  1
 2M
Vom sublinia de asemenea că relaţia (8.58) poate fi scrisă şi sub forma
u  n  TDCT u  n (8.60)
TDCT este matricea transformării DCT. Cu această notaţie, ckl din (8.58) este elementul kl
al matricii TDCT , iar vectorul u  n de dimensiune M 1 este
u  n  u0  n u1  n uM 1  n
În afară de a fi o transformare lineară, operaţia definită prin (8.58) sau (8.60) poate fi
privită şi drept o implementare a unui banc de M filtre cu răspuns finit la impuls (FIR) ale
238 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

3
k=0
7
2.5
1 2 3 4 5 6

2
Amplitudine

1.5

0.5

0
0 0.1 0.2 0.3 0.4 0.5
Frecventa normalizata
Figura 8.4 Caracteristicile de frecvenţă ale filtrelor DCT
pentru M  8 .
căror coeficienţi sunt chiar ckl , l  0,1, M  1 . Figura 8.4 prezintă răspunsul la impuls al
filtrelor DCT pentru M  8 . Aceste curbe reflectă clar proprietatea de separare în benzi a
filtrelor DCT. Fiecare răspuns are un lob principal care poate fi identificat drept banda de
trecere a filtrului precum şi un număr de lobi secundari situaţi în banda de blocare. Caracte-
ristici similare de frecvenţă prezintă şi celelalte transformări ortogonale utilizate în filtrarea
TDAF, de exemplu DFT.
Proprietăţii de separare în benzi pe care o au transformările ortogonale îi corespunde în
domeniul timp proprietatea de ortogonalizare. Proprietatea de ortogonalizare poate fi expli-
cată intuitiv pornind chiar de la separarea în benzi. Se ştie că două procese ce au benzi
spectrale ce se exclud mutual, sunt necorelate unul cu celălalt (Papoulis 1991). Pe de altă
parte, din proprietatea de separare în benzi, se observă că elementele vectorului transformat
de la ieşire u  n reprezintă un set de procese aleatoare cu benzi de frecvenţă separate
aproximativ între ele. Aceasta implică faptul că componentele lui u  n sunt (cel puţin)
aproximativ necorelate între ele. Ultima constatare are drept consecinţă faptul că matricea de
corelaţie a procesului transformat RT  E u  n u H  n este mai apropiată de o matrice
diagonală decât matricea de corelaţie a procesului iniţial R . Vom exemplifica acest raţiona-
ment prin exemplul care urmează.
Exemplul 8.3: Pentru a demonstra proprietăţile de decorelare a transformatelor
DCT şi DFT se consideră procesul aleator u  n cu matricea de corelaţie de
ordinul M  4 :
1,000 0,900 0,810 0,729 
0,900 1,000 0,900 0,810 
R
 0,810 0,900 1,000 0,900 
 
0,729 0,810 0,900 1,000 
Matricile transformărilor utilizate sunt:
 8.4 Algoritmi LMS cu transformare de domeniu 239

0,500 0,500 0,500 0,500 

 0,653 0, 271 0, 271 0,653
TDCT  
0,500 0,500 0,500 0,500 
 
 0, 271 0,653 0,653 0, 271
0,500 0,500 0,500 0,500 
0,500 0,500 j 0,500 0,500 j 
TDFT  
0,500 0,500 0,500 0,500 
 
0,500 0,500 j 0,500 0,500 j 
Transformarea de domeniu (8.53) conduce la
 3,525 0,000 0,086 0,000 
 0,000 0,310 0,000 0,003
R C  TDCT RTDCT
H
 
 0,086 0,000 0,105 0,000 
 
 0,000 0,003 0,000 0,061 
 3,525 0,043  0,043 j 0,000 0,043  0,043 j 
 0,043  0,043 j 0,190 0,043  0,043 j 0,086 j 
RF   
 0,000 0,043  0,043 j 0,096 0,043  0,043 j 
 
 0,043  0,043 j 0,086 j 0,043  0,043 j 0,190 
Trebuie remarcat că matricile rezultate în urma transformărilor DCT şi DFT sunt
mai apropiate de matricea diagonală (pentru că elementele care nu sunt pe diago-
nală sunt mai aproape de zero) decât matricea R.
În pofida diagonalizării evidente a matricii transformate RT , datorită faptului că T este
unitară, relaţia dintre R şi RT are forma unei transformări de similaritate, transformare care
păstrează valorile proprii. Aceasta înseamnă că R şi RT au aceleaşi valori proprii iar pentru
Exemplul 8.3:   R     RT   57,4 . În consecinţă, simpla utilizare a unei transformări
ortogonale nu îmbunătăţeşte performanţele algoritmulului LMS. Este nevoie de mai mult
pentru a spori aceste performanţe.
Operaţia prin care metoda transformării de domeniu devine eficace în cazul filtrării
adaptive este normarea la putere unitară a elementelor vectorului transformat u  n . În acest
scop, notăm prin D matricea de dimensiune M  M :
240 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

 E  u  n 2  0 0 
  0  
 
E  u1  n  
2
 0 0 
D    (8.61)
 
 
E  uM 1  n   
2
 0 0
  
iar operaţia de normare este descrisă prin relaţia
1

u N  n  D 2 u  n (8.62)
unde u N  n este vectorul normat. Matricea de corelaţie asociată vectorului u N  n este
1 1
 
RTN  D 2 RT D 2
(8.63)
Mai mult, este de observat că D  diag  RT  , (8.64)
unde diag  RT  este matricea diagonală ce constă din elementele diagonale ale lui RT .
Drept rezultat al acestei normări, toate componentele vectorului u N  n au valoarea medie
pătratică egală cu unu şi acelaşi lucru se întâmplă cu elementele de pe diagonala lui RTN .
Trebuie remarcat că relaţia dintre matricile de corelaţie R şi RTN nu mai este una de
similaritate, şi drept urmare, gradul de împrăştiere a valorilor lor proprii este diferit.
Exemplul 8.4: Ne propunem să normalizăm matricile RC şi R F obţinute în
Exemplul 8.3 iar apoi să calculăm   RTN  în cele două cazuri.
Aplicăm pentru început (8.64) şi continuăm cu operaţia de normare din (8.63).
Rezultatele sunt:
 1,000 0,000 0,141 0,000 
 0,000 1,000 0,000 0,023
R CN  
 0,141 0,000 1,000 0,000 
 
 0,000 0,023 0,000 1,000 
 1,000 0,052  0,052i 0,000 0,052  0,052i 
 0,052  0,052i 1,000 0,317  0,317 j 0, 450 j 
R FN   
 0,000 0,317  0,317 j 1,000 0,317  0,317 j 
 
 0,052  0,052i 0, 450 j 0,317  0,317 j 1,000 
Gradul de împrăştiere a valorilor proprii ale matricilor este   RCN   1,33
pentru transformarea DCT şi   R FN   3,60 pentru DFT.
 8.4 Algoritmi LMS cu transformare de domeniu 241

Figura 8.5 a. Contururile suprafeţei EPM iniţiale, b. Suprafaţa de eroare rezultată în urma
transformării de domeniu, c. Suprafaţa de eroare obţinută prin normalizare.

Efectul pe care secvenţa de transformare de forma R  RT  RTN îl are asupra

suprafeţei de eroare a unui filtru adaptiv cu doi coeficienţi este evidenţiat în Figura 8.5. Se
observă că efectul matricii de transformare unitară este de a roti suprafaţa de eroare, fără a
modifica excentricitatea elipsei. Prin urmare, transformarea nu afectează gradul de împrăş-
tiere a valorilor proprii. Principalul efect al normalizării constă în egalizarea axelor, ceea ce
conduce la micşorarea împrăştierii valorilor proprii ale matricii de corelaţie a procesului.

8.4.3 Formularea algoritmului

Implementarea algoritmului LMS cu transformare de domeniu utilizează pentru calculul
recursiv al ponderilor filtrului adaptiv următoara ecuaţie de recursie
wˆ  n  1  w
ˆ  n   D
ˆ 1u  n e*  n (8.65)
unde D̂ este un estimat al matricii diagonale D definită în paragraful precedent. Această
recursie scrisă mai sus la nivelul vectorului coeficienţilor poate fi descompusă în M ecuaţii
scalare de recursie:

wˆ i  n  1  wˆ i  n  ui  n e*  n  , i  0,1, , M 1 (8.66)
ˆ 2
ui  n
unde ˆ u2i  n este o estimare a lui E  ui  n  . Acest fapt arată că prezenţa lui D
ˆ 1 în
2

 
ecuaţia (8.65) este echivalentă cu utilizarea de paşi diferiţi pentru fiecare din componentele
vectorului ponderilor filtrului în cazul filtrării TDAF. Fiecare parametru de pas este ales
proporţional cu inversa puterii componentei corespunzătoare de intrare în filtru. Din acest
motiv recursia din (8.65) este denumită recursie LMS cu pas normalizat. Pentru a preveni
confuzia dintre acest algoritm şi algoritmul LMS normalizat îl vom numi în continuare
algoritm LMS cu pas normalizat.
Apariţia factorului D ˆ 1 în ecuaţia (8.65) este echivalentă cu operaţia de normare a
vectorului transformat descrisă în paragraful anterior prin ecuaţiile (8.62) şi (8.63). Pentru a
1
demonstra aceasta, dacă premultiplicăm şi postmultiplicăm cu D̂ 2 ecuaţia (8.65), obţinem
ˆ N  n  1  w
w ˆ N  n  u N  n e*  n (8.67)
242 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

1

unde u N  n e definit prin (8.62) iar w ˆ N  n  D
ˆ 2wˆ  n . Cu alte cuvinte, algoritmul LMS
cu pas normalizat poate fi echivalat cu un algoritm LMS convenţional dacă vectorul care se
aplică pe intrările filtrului este normalizat, u N  n având componente de putere unu.
Pentru implementarea lui (8.65) este necesar să se facă estimarea puterii semnalului de
intrare pe fiecare dintre celulele filtrului adaptiv în domeniu transformat, adică a valorilor
ˆ u2i  n . Se utilizează în acest scop ecuaţia de recursie

ˆu2  n  ˆu2  n  1  1    ui  n , i  0,1, , M 1

2
i i
(8.68)
unde  este o constantă pozitivă, apropiată dar mai mică decât unu. Algoritmul LMS cu
pas normalizat este prezentat în Tabelul 8.4.
Complexitatea de calcul a algoritmului LMS cu transformare de domeniu depinde de
alegerea lui T şi de modul în care această transformare este implementată. De exemplu, să
presupunem că este vorba de transformarea DFT definită prin relaţia (8.57). Chiar dacă se
realizează transformarea u  n  Tu  n prin FFT, această etapă necesită M log 2 M operaţii
pe iteraţie. Costurile sunt mai mari, oricum decât în cazul LMS convenţional (de ordinul a
M 2 operaţii pe iteraţie). Cu toate acestea, cel puţin în cazul transformărilor DFT şi DCT
(Sayed 2008), numărul de operaţii se poate reduce la ~M/iteraţie dacă se exploatează faptul
Tabelul 8.4 Algoritmul LMS cu transformare de domeniu

1. Iniţializare:
ˆ u2i  1   , i  0,1, , M  1 ( este o constantă pozitivă mică)
ˆ 0  u  1  0 0
w 0
T

2. Se calculează transformarea ortogonală:

u  n  Tu  n
3. Se determină semnalul de ieşire al filtrului:
y  n  wˆ H  n u  n
4. Se stabileşte eroarea la ieşirea filtrului:
e  n  d  n  y  n
5. Se estimează puterea pe intrările filtrului ( pentru i  0,1, , M 1 )
ˆ n  ˆ n  1  1    ui n
2 2 2
ui ui

6. Se calculează elementele vectorului pondere pentru pasul

următor:

wˆ i  n  1  wˆ i  n  ui  n e*  n  , i  0,1, , M 1
ˆ u2i  n
7. Se incrementează variabila contor  n  n  1 şi se face salt la 2.
 8.4 Algoritmi LMS cu transformare de domeniu 243

că doi vectori de date succesivi { u  n  1 , u  n } au comune cea mai mare parte a elemen-
telor:

Drept urmare, vectorul u  n poate fi calculat direct din u  n  1 şi valorile u  n şi

u  n  M  iar consecinţa directă a acestei observaţii este reducerea numărului de operaţii la
O  M  pe iteraţie.

8.4.4 Transformarea Karhunen-Loève şi algoritmul

LMS-Newton
Scopul acestui paragraf este să exploreze relaţia strânsă care există între algoritmul LMS-
Newton, aşa cum este acesta definit prin relaţia (8.40) şi algoritmii LMS cu transformare de
domeniu. Vom arăta că atunci când matricea transformării de domeniu T este astfel aleasă
încât să realizeze transformarea Karhunen-Loève (TKL), cele două proceduri reprezintă
două formulări diferite ale aceluiaşi algoritm. Astfel, rezultă concluzia logică că atunci când
este utilizată o transformare de domeniu adecvată, algoritmul LMS cu transformare de
domeniu poate fi considerat a fi o implementare eficientă a algoritmului LMS-Newton.
Conform Proprietăţii 5 a matricii de corelaţie R (vezi Capitolul 3), descompunerea
acesteia după valori proprii se face prin transformarea unitară de similaritate, conform rela-
ţiei (3.107):
R = QΛQH
unde QQH  I iar Λ este matricea diagonală alcătuită din valorile proprii ale lui R. În
consecinţă, efectuăm transformarea de domeniu cu relaţia T  Q H , care este transformarea
Karhunen-Loève (TKL) introdusă tot în Capitolul 3 prin relaţiile (3.128) şi (3.132), aplicând
relaţia (8.53) pentru a calcula matricea de corelaţie a procesului rezultat:
RT  TRTH  QH  QΛQH  Q  Λ (8.69)
Şi matricea diagonală D utilizată pentru normare în ecuaţia de recursie (8.65), capătă o
expresie simplă în cazul TKL: D  Λ . Având în vedere că Λ este o matrice diagonală,
rezultă că TKL decorelează complet componentele vectorului transformat u  n , ceea ce
înseamnă că aceasta este cea mai bună transformare din punctul de vedere a eficienţei
filtrării TDAF.
Se poate acum cerceta şi legătura care există între algoritmii LMS-Newton şi LMS cu
transformare de domeniu. În acest scop, premultiplicăm cu Q H ecuaţia de recursie LMS-
Newton (8.40). Rezultatul obţinut:
ˆ  n  1  QH w
QH w ˆ  n  N Λ1QH u  n e*  n (8.70)
244 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

este identic, având în vedere cele discutate înainte, cu forma pe care o ia recursia (8.65)
atunci când se utilizează TKL ca transformare de domeniu. Pe de altă parte, se poate
considera că algoritmul LMS-Newton încearcă să facă o estimare a transformării Karhunen-
Loève, atunci când detemină R ˆ 1  n . În sfârşit, şi algoritmul NLMS este un caz particular
al algoritmului LMS-TDAF, pentru că utilizează o transformare identitate T  I şi o
estimare instantanee a puterii semnalului de intrare dată de norma u  n  .
2

Transformarea Karhunen-Loève (TKL) este transformarea optimală, dar este dependen-

tă de semnal şi, practic, ea nu poate fi calculată în timp real. Întrucât transformarea optimală
în cazul filtrării TDAF este dependentă de semnal, nu se poate stabili o transformare optimă
cu parametrii fixaţi care să fie utilizată universal în cazul filtrării adaptive cu transformare de
domeniu. În fapt, dacă spectrul semnalului de intrare este cunoscut, atunci poate fi calculată
şi utilizată TKL, altfel orice matrice unitară de dimensiuni corespunzătoare poate fi o
alegere posibilă pentru transformare. Totuşi utilizarea cea mai răspândită o are
transformarea cosinus discretă, care cel puţin pentru un proces Markov de ordinul întâi,
staţionar, de medie zero, este echivalentă asimptotic cu TKL (Beaufays 1995,
Kenneth_Jenkins şi D.F. Marshall 1999).
Exemplul 8.5: Ne propunem să comparăm, din punctul de vedere a vitezei de
convergenţă, în raport cu algoritmul LMS standard, performanţele algoritmilor
TDAF: LMS-DFT şi LMS-DCT. Ca şi în cazul algoritmului NLMS, reluăm, în
acest scop, experimentul cu egalizorul adaptiv introdus în Exemplul 7.4 din
Capitolul 7.
Asigurarea echivalenţei condiţiilor de acţiune a celor trei algoritmi s-a făcut,
prin stabilirea, în mod experimental, a valorilor pasului celor trei algoritmi,  ,
astfel încât valorile EPM de regim staţionar să rămână egale, indiferent de
algoritmi.
Experimentul este realizat în conformitate cu schema bloc din Figura 7.10,
canalul de comunicaţii este modelat prin relaţia 7.70 cu parametrul de canal
W  2,9 . Filtrele au toate M  11 coeficienţi. Utilizarea facilităţilor oferite de
pachetul MATLAB ne-a permis să stabilim că, pentru ca valoarea finală a EPM să
fie în toate cazurile J   0,0025 , se alege   0,06 pentru algoritmul LMS
standard şi   0,08 pentru algoritmii LMS-DFT şi LMS-DCT. Figura 8.6 prezintă
rezultatele obţinute, evidenţiind faptul că algoritmii LMS cu transformare de
domeniu, au, în raport cu algoritmul LMS standard, o convergenţă mai rapidă.

8.5 Algoritmul de proiecţie afină

Deducerea algoritmului LMS s-a făcut pe baza unor aproximaţii simple efectuate asupra
matricii de corelaţie R şi a vectorului de intercorelaţie p. Algoritmi mai avansaţi, cu
performanţe superioare dar şi costuri de calcul mai mari, pot fi obţinuţi făcând apel la
aproximări mai sofisticate pentru R şi p. Aşa-numitul algoritm de proiecţie afină (APA)
reprezintă o ilustrare a acestor afirmaţii.
 8.5 Algoritmul de proiecţie afină 245

Figura 8.6 Compararea performanţelor algoritmilor LMS stan-

dard, LMS-DFT şi LMS-DCT din punctul de vedere a
evoluţiei EPM.

8.5.1 Formularea algoritmului APA

Deşi APA reprezintă o generalizare a algoritmului NLMS şi poate fi dezvoltat similar cu
acesta (Ciochină 2008), am ales, pentru a trata subiectul, abordarea din Sayed (2008).
Punctul de pornire îl constituie acum algoritmul LMS-Newton formulat prin recursia (8.39)
pe care o amendăm aici, adăugând la matricea de corelaţie R un termen de valoare redusă
 I , ce poate să garanteze inversabilitatea expresiei corespunzătoare:

  ˆ  n  J  n 
1 1
ˆ  n  1  w
w ˆ  n    N  I  R ˆ  n  ˆ
w
2 (8.71)
   
1
wˆ  n    I  R
ˆ  n pˆ  n   R ˆ  n wˆ  n
ˆ  n şi pˆ  n sunt estimările mărimilor corespunzătoare făcute la momen-
În ecuaţie, R
tul de timp n, iar algoritmul de proiecţie afină, spre deosebire de alţi algoritmi realizează o
mai bună aproximare a acestora. În acest scop se alege un număr pozitiv întreg K (de regulă
K  M , unde dimensiunile vectorului w sunt M 1 ) iar estimările R ˆ  n şi pˆ  n se
calculează prin următoarele aproximaţii instantanee:
n n
ˆ  n  1
R  u  j u  j ,
H
pˆ  n 
1
 u jd  j*
(8.72)
K j  n  K 1 K j  n  K 1

unde u  j   u  j  u  j  1 u  j  M  1 şi d  j  sunt vectorul de intrare,

T

respectiv semnalul dorit la momentul j . Cu alte cuvinte, la fiecare iteraţie n sunt utilizaţi cei
mai recenţi K vectori de intrare şi cele mai recente K observaţii pentru a calcula prin mediere
temporală valorile aproximative ale lui R şi p:
246 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

un, un  1, , u  n  K  1 şi d n, d n  1, , d n  K  1

Introducem matricea datelor de intrare A  n de dimensiune K  M şi vectorul semna-
lelor dorite d  n de dimensiune K 1 :
A H  n   u  n  u  n  1 u  n  K  1
u  n  u  n  1 u  n  K  1 
 
u  n  1 u  n  2 u n  K 
  (8.73)
 
 
u  n  M  1 u  n  M  u  n  K  M  2
d H  n    d  n  d  n  1 d  n  K  1
ˆ  n şi pˆ  n pot fi exprimate într-o formă mult mai compactă:
Cu noile notaţii, R

Rˆ  n  1 A H  n A  n şi pˆ  n  1 A H  n d  n (8.74)
K K
Drept urmare, reformulăm expresia ecuaţiei de recursie Newton (8.71), în care înlocuim cu
relaţiile din (8.74) şi     K :

ˆ  n     I  A H  n  A  n  A H  n   d  n   A  n  w
ˆ  n 
1
ˆ  n  1  w
w (8.75)

Deşi produsul A H  n A  n este o matrice singulară atunci când K  M , termenul  I

garantează existenţa inversei lui  I  A H  n A  n .
Rezolvarea ecuaţiei de recursie (8.75) necesită, la fiecare iteraţie, inversarea matricii
A H  n A  n de dimensiune M  M . Alternativ, se poate face apel la formula de inversare
matricială (8.45) pentru a verifica egalitatea de mai jos:
 I  A  n  A  n  A H  n   A H  n   I  A  n  A H  n 
H 1 1
(8.76)
caz în care, relaţia (8.75) devine
ˆ  n    A H  n   I  A  n  A H  n  d n  A n wˆ n
1
ˆ  n  1  w
w
(8.77)
ˆ  n    A H  n   I  A  n  A H  n  e  n 
1
w
Această ultimă formă a recursiei APA este mai convenabilă întrucât necesită inversarea
la fiecare iteraţie a matricii  I  A  n A H  n de dimensiune (de obicei mai mică)
KK .
Ecuaţia (8.77) este formularea algoritmului de proiecţie afină. În particular, se observă
că atunci când K  1 , APA se reduce la ecuaţia de recursie a algoritmului LMS normalizat
(8.34). Mai general, din compararea APA cu algoritmii LMS standard sau NLMS, se poate
 8.5 Algoritmul de proiecţie afină 247

constata că APA utilizează pentru eroarea de estimare vectorul e  n  d  n  A  n w

ˆ  n ,
spre deosebire de eroarea scalară e  n  d  n  u H  n w
ˆ  n utilizată de LMS şi NLMS.
Această observaţie evidenţiază faptul că, spre deosebire de LMS şi NLMS care folosesc
pachetul de date de la momentul n pentru a actualiza coeficienţii filtrului adaptiv, APA
utilizează în acelaşi scop cele mai recente K pachete de date. Din acest motiv, algoritmul
APA este denumit şi algoritm cu reutilizarea datelor pentru că refoloseşte pachete de date
de la momentele de timp anterioare. Numărul întreg K este denumit ordin al filtrului APA.
Tabelul 8.5 rezumă operaţiunile care implementează algoritmul. Efortul de calcul al
algoritmului APA este mare, având în vedere că produsul A  n A H  n necesită K 2 M
multiplicări iar inversarea  I  A  n A H  n costă O  K 3  operaţii (multiplicări şi
1

adunări). Concluzia este că ordinul de mărime a numărului de operaţii la care se ridică costul
APA este O  K 2 M  pe iteraţie, o valoare foarte mare, atunci când o comparăm cu costul
LMS standard. Există, trebuie să spunem, multe variante mai rapide ale algoritmului (Albu,
ş.a. 2007, Sayed 2008) care utilizează în scopul reducerii numărului de operaţii, redundanţa
care există în datele prelucrate.
Exemplul 8.6: Figura 8.7 compară performanţele a patru implementări ale algo-
ritmului APA cu algoritmul LMS standard pentru experimentul realizat în
conformitate cu schema bloc din Figura 7.10, canalul de comunicaţii fiind modelat
Tabelul 8.5 Algoritmul de proiecţie afină

1. Se alege o valoare convenabilă pentru pasul  şi constanta  . Se

iniţializează variabila contor  n  0  , vectorul pondere şi vectorii
de semnal :
ˆ 0  0 0 0 , d i   u i   0, i  0
T
w
2. Se calculează ieşirea curentă a filtrului:
y  n  w
ˆ H  n u  n
3. Se determină valoarea curentă a vectorului de eroare:
e  n  d  n  A  n  wˆ  n
4. Se calculează pătratul eşantionului curent de intrare u  n .
2

5. Se calculează pătratul normei semnalului de intrare:

u  n  u  n  1  u  n  u  n  M 
2 2 2 2

6. Se calculează vectorul pondere pentru pasul următor:

ˆ  n    A H  n   I  A  n  A H  n  e  n 
1
ˆ  n  1  w
w
7. Se incrementează variabila contor  n  n  1 şi se execută un salt
la 2.
248 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

Figura 8.7 Compararea performanţelor algoritmului LMS standard

şi a algoritmului proiecţiei afine pentru mai multe
valori ale ordinului de proiecţie K.

prin relaţia 7.70, cu parametrul de canal W  2,9 . În toate situaţiile, filtrul

adaptiv are M  11 coeficienţi iar curbele de învăţare au fost obţinute prin medie-
re pe 300 de experimente.
Cele 4 curbe generate pentru algoritmul APA corespund la patru valori
distincte ale ordinului filtrului APA: K  1,2,4,6 . S-a realizat astfel o evaluare a
efectului pe care îl are ordinul proiecţiei afine asupra performanţelor
algoritmului.
Asigurarea echivalenţei condiţiilor de acţiune a celor trei algoritmi s-a făcut,
prin stabilirea, în mod experimental, a valorilor pasului celor trei algoritmi,  ,
astfel încât valorile EPM de regim staţionar să rămână egale, indiferent de
algoritmi. Valorile acestor paşi sunt trecute în grafic.
Experimentul evidenţiază că APA are performanţe net superioare algoritmului
LMS standard, în condiţiile în care ordinul APA este K  1 . Totuşi pe măsură ce K
creşte, numărul de operaţii matematice se măreşte cu pătratul lui K, ceea ce
devine, de la un anumit nivel, prohibitiv. De asemenea, există o limită pentru K, în
experimentul nostru K  4 , dincolo de care, în loc ca performanţele să se
îmbunătăţească, se constată o degradare a acestora.

8.5.2 Abordare alternativă a algoritmului APA

Algoritmul proiecţiei afine poate fi definit ca fiind soluţia exactă a unei probleme de
optimizare locală. Pentru a justifica acestea, vom presupune că se dispune de coeficienţii
ˆ  n estimaţi la momentul n  1 şi de datele de intrare la momentul n, d  n şi
filtrului w
A  n . Definim doi vectori de eroare de estimare: vectorul de eroare apriori:
 8.5 Algoritmul de proiecţie afină 249

e  n  d  n  A  n  w
ˆ  n (8.78)
şi vectorul de eroare aposteriori:
ε  n  d  n  A  n w
ˆ  n  1 (8.79)
Dacă primul dintre ei măsoară eroarea care se face la estimarea lui d  n prin utilizarea
produsului A  n w
ˆ  n . adică prin utilizarea coeficienţilor disponibili înainte de actualizare.
cel de al doilea măsoară eroarea la estimarea lui d  n prin A  n w ˆ  n  1 , adică după utili-
zarea noilor coeficienţi. Vectorul aposteriori se poate exprima în funcţie de vectorul apriori
ˆ  n  1 prin ecuaţia de recursie (8.77):
dacă în relaţia(8.79) se înlocuieşte w

ε  n  d  n  A  n  wˆ  n    A H  n    I  A  n  A H  n   e  n 
1

 
(8.80)
  I   A  n  A H  n   I  A  n  A H  n   e  n 
1

 
ˆ  n  1 care rezolvă următorul
În concluzie, algoritmul APA determină coeficienţii w
criteriu de optimizare cu constrângeri:
min w
ˆ  n 1
w

ˆ  n  1  w
ˆ  n
2
 cu condiţia: (8.81)
ε  n    I   A  n  A H  n   I  A  n  A H  n   e  n 
1

 
ˆ  n  1 cel mai apropiat în sensul normei euclidiene de
Cu alte cuvinte, se caută vectorul w
ˆ  n şi supus unei constrângeri dată de egalitatea (8.80).
w
Se poate demonstra (Sayed 2008) că constrângerea din (8.81) este îndeplinită atâta
vreme cât pasul algoritmului  îndeplineşte condiţia
0 2 (8.82)

Mai mult, (8.82) asigură realizarea inegalităţii ε  n  e  n , ceea ce garantează că

2 2

ˆ  n  1 este o estimare mai bună a lui d  n decât A  n w

A  n w ˆ  n .

8.5.3 Interpretarea proiecţiei afine

Formularea (8.81) ne permite să explicăm de ce în numele algoritmului apare termenul
„proiecţie afină”. Motivul este că un caz special al recursiei APA (8.77) admite o
interpretare ce face apel la proiecţii pe subspaţii afine. În acest scop, ne referim la condiţia
(8.81) cu K  M şi cazul particular   1 şi  =0 , situaţie în care condiţia se reduce la

min w
ˆ  n 1
w

ˆ  n  1  w
ˆ  n
2
 cu condiţia: εn  0 (8.83)

sau, echivalent:
250 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

min w
ˆ  n 1
w

ˆ  n  1  w
ˆ  n
2
 cu condiţia: dn  Anwˆ n  1 (8.84)

iar ecuaţia de recursie a algoritmului APA devine

ˆ  n   A H  n   A  n  A H  n  d n  A n wˆ n
1
ˆ  n  1  w
w (8.85)

Cu alte cuvinte, pentru   1 şi  =0 , APA satisface d  n  A  n w

ˆ  n  1 . În cazul special
K  1 , regăsim formularea algoritmului LMS normalizat:
min w
ˆ  n 1
w

ˆ  n  1  w
ˆ  n
2
 cu condiţia: d n  u H
n wˆ n  1 (8.86)

a cărei soluţie este ecuaţia de recursie NLMS

u H  n
ˆ  n  1  w
w ˆ  n   d n  u n wˆ n  1
H
(8.87)
u  n
2

În acest caz, algoritmul NLMS satisface egalitatea d  n  u H  n w

ˆ  n  1 . Această obser-
vaţie admite interpretarea geometrică pe care o dăm în continuare.
Oricare ar fi datele de intrare d  n , u  n , există o infinitate de vectori care rezolvă
egalitatea d  n  u H  n w
ˆ  n  1 . Setul tuturor acestor vectori ŵ este un subspaţiu afin
(denumit de asemenea hiperplan) notat prin Mn , a cărui relaţie de definiţie este:
Mn setul tuturor vectorilor wˆ care satisfac condiţia u n wˆ  d n  0 H

Se utilizează denumirea „afin” pentru a indica că hiperplanul nu trece în mod necesar prin
originea w ˆ  0 . Pornind de la vectorul w ˆ  n şi îndeplinind condiţia (8.86), NLMS
ˆ  n  1 care este cel mai aproape de w
selectează acel vector particular w ˆ  n în sensul
ˆ  n  1 se obţine prin proiecţia lui w
normei euclidiene. Vom spune prin urmare, că w ˆ  n
pe subspaţiul afin Mn .
Pe de altă parte, atunci când K  1 , se observă din condiţia (8.86) că recursia (8.85)
impune satisfacerea a K egalităţi (spre deosebire de una ca în cazul NLMS):
d  n  u H  n w
ˆ  n  1 , d  n  1  u H  n  1 w
ˆ  n  1 , ,
, d  n  K  1  u H  n w
ˆ  n  K  1

Pentru fiecare pereche de date d  n  i  , u  n  i  , există o infinitate de vectori ŵ care

satisfac egalitatea d  n  i   u H  n  i  w
ˆ  n  1 şi care definesc un subspaţiu Mn i .
Vectorul coeficienţilor care este calculat cu (8.84)-(8.85) este situat la intersecţia a K
subspaţii afine:
 n 
ˆ  n  1  
w Mj 
 j  n  K 1 
 8.6 Algoritmi LMS pentru structuri lattice 251

Figura 8.8 Interpretarea geometrică a APA de ordinul doi.

Estimarea w ˆ  n  1 situată în planul Mn  i este
ˆ  n aflat la intersecţia
proiectată în punctul w
planelor Mn  i şi Mn .

ˆ  n  1 dat de APA pentru   1 se obţine prin proiecţia vectorului

Se spune atunci că w
ˆ  n pe intersecţia subspaţiilor
w M , j  n, n  1,
j , n  K  1 . Figura 8.8 ilustrează
această construcţie pentru cazul K  2 . Două subspaţii sunt arătate în figură: Mn şi Mn i .
ˆ  n se află în planul Mn i în timp ce estimarea actualizată w
În figură, estimarea w ˆ  n  1
se găseşte la intersecţia celor două hiperplane, Mn1 Mn .

8.6 Algoritmi LMS pentru structuri lattice

Structura lattice de filtrare adaptivă introdusă în Capitolul 5 reprezintă o modalitate eficientă
de implementare a algoritmului LMS. Algoritmii dezvoltaţi pentru aceste structuri de
predicţie lineară şi care reprezintă o extensie naturală a algoritmului LMS sunt denumiţi
algoritmi GAL (Gradient Adaptive Lattice). Utilizarea metodei gradientului pentru structuri
lattice a fost introdusă de Griffiths (1977).

8.6.1 Algoritmul LMS-GAL pentru filtre ale erorii de

predicţie lattice
Vom considera celula m din structura lattice a unui filtru al erorii de predicţie reprezentată în
Figura 8.9. Caracteristic unei astfel de celule este faptul că relaţia intrare-ieşire este
caracterizată de un singur parametru, şi anume coeficientul de reflexie  m . Vom presupune
că semnalele de intrare sunt staţionare în sens larg iar  m este un număr complex.
Etajul de predicţie lineară din Figura 8.9 este optimal atunci când erorile de predicţie
înainte şi înapoi de la ieşirea celulei, f m  n şi bm  n sunt minime. În consecinţă, se
252 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

Figura 8.9 Celulă de predictor lattice utilizată la definirea

algoritmului GAL.
stabileşte valoarea optimă a coeficientului  m din condiţia de minimizare a funcţiei de cost,
definită de (Ciochină 2008, Haykin 1996):
J m  n  E  f m  n  bm  n 
2 2
(8.88)
 
Relaţiile intrare-ieşire ale celulei lattice considerate sunt stabilite în Capitolul 5 prin
ecuaţiile (5.118) şi (5.119). Le reluăm în continuare, pentru comoditatea expunerii:
f m  n  f m 1  n   m bm 1  n  1
(8.89)
bm  n  bm 1  n  1   m f m 1  n 
Pentru calculul gradientului funcţiei de cost în raport cu părţile reale şi imaginare ale
coeficientului de reflexie  m , aplicăm regulile formale de derivare:

m  E  f m  n    E  f m  n   m  f m*  n   f m*  n   m  f m  n    2E  f m* n  bm 1  n  1

2

   
m  E  bm  n    E bm  n  m bm*  n   bm*  n   m bm  n    2E bm n  f m*1 n 
2

   
Deci: m J m  n  2E  f m*  nbm1  n  1  bm n f m*1 n (8.90)

unde f m1  n este eroarea de predicţie înainte iar bM 1  n  1 este eroare de predicţie înapoi
întârziată, ambele măsurate la intrarea blocului.
Principiul de bază al algoritmilor LMS enunţat în Capitolul 7 prin relaţiile (7.2)-(7.4)
este de a înlocui media statistică utilizată în calculul gradientului funcţiei de cost prin esti-
marea instantanee a acesteia. Aplicarea acestui principiu ecuaţiei (8.90), ne permite să
scriem estimarea instantanee a lui m J m  n :
ˆ J  n  2  f *  nb  n  1  b  n f * n
 (8.91)
m m m m 1 m m 1

Notăm prin ˆm  n vechea estimare a coeficientului de reflexie  m al celulei m a

structurii lattice iar prin ˆm  n  1 estimarea actualizată a aceluiaşi coeficient. Adaptăm
 8.6 Algoritmi LMS pentru structuri lattice 253

ecuaţia (7.5) la calculul acestei estimări, însumând la ˆm  n un termen de corecţie propor-
ţional cu estimarea gradientului m J m  n :
1

ˆm  n  1  ˆm  n  m ˆ  J m  n
2 m
 (8.92)

unde m este pasul algoritmului asociat celulei m a structurii lattice. Înlocuind ecuaţia
(8.91) în (8.92), se obţine:
ˆm  n  1  ˆm  n  m  f m*  nbm1 n  1  bm n f m*1 n (8.93)
Ultima ecuaţie este expresia algoritmului LMS pentru celula m a structurii lattice
(LMS-GAL). Este evident că, pentru a asigura stabilitate, pasul algoritmului m poate avea
o valoare distinctă pentru fiecare celulă a structurii, ceea ce afectează mult aplicabilitatea
practică a algoritmului sub această formă.
O modalitate mai bună de utilizare a algoritmului LMS este de a face apel la varianta
normalizată a algoritmului LMS. În algoritmul NLMS-GAL, parametrul de adaptare depinde
de energia semnalelor de la intrarea celulei:

m  m  n   (8.94)
Em 1  n
n
Em 1  n    f m 1 i   bm 1 i  1  Em 1  n  1  f m 1  n  bm 1  n  1
2 2 2 2
unde (8.95)
i 1
 
Pentru ca algoritmul să prezinte o convergenţă robustă, se alege   0,1 (Haykin 1996).
Parametrul Em1  n reprezintă suma totală a energiilor erorilor de predicţie înainte şi înapoi
la intrarea celulei m, măsurate până la momentul curent n.
În practică, de obicei se utilizează o modalitate diferită de (8.95) pentru estimarea ener-
giei semnalului de intrare în celulă (Clarkson 1993, Griffiths 1977):


Em1  n  Em1  n  1  1    f m1  n  bm1  n  1
2 2
 (8.96)

unde 0    1 . Introducerea parametrului β înzestrează algoritmul NLMS-GAL cu o

memorie finită, ceea ce îi asigură o comportare superioară atunci când funcţionează în regim
nestaţionar.
Studiul convergenţei algoritmului NLMS-GAL este o problemă destul de complexă, din
cauza interacţiunii nelineare dintre comportările celulei a n-a şi a celor de ordin inferior
(Haykin 1996). Comparând algoritmii GAL şi LMS, în general algoritmii GAL converg mai
rapid şi cu o viteză de convergenţă ce este în mare măsură independentă de gradul de
împrăştiere a valorilor proprii de la intrare. Pe de altă parte, s-a arătat că valoarea dezadaptă-
rii este mai mare în cazul structurilor lattice decât al filtrelor transversale (Clarkson 1993).
Algoritmul GAL normalizat are performanţe superioare datorită reducerii dependenţei de
varianţa semnalului de intrare.
254 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

Figura 8.10 Filtrul adaptiv FIR cu structură lattice-scară

8.6.2 Algoritmul LMS-GAL de filtrare adaptivă

Structura lattice de filtrare adaptivă este utilizată în calitate de filtru al erorii de predicţie. În
aplicaţiile de predicţie lineară care fac apel la acest gen de filtre, semnalul dorit reprezintă o
replică deplasată în timp a semnalului de intrare: d  n  u  n N  . Pentru a extinde
domeniul de aplicabilitate a algoritmilor GAL la întreaga gamă de aplicaţii adaptive,
structurii lattice i se adaugă o configuraţie în scară de combinator linear ca în Figura 8.10.
Ca în orice aplicaţie de filtrare adaptivă, se urmăreşte ca ieşirea y  n a combinatorului
să realizeze cea mai bună estimare a semnalului dorit, d  n . Prin urmare, se impune
minimizarea funcţiei de cost
J  n  E  e  n  , cu: e  n  d  n  h H  n b  n
2
(8.97)
 
unde h  n  h0  n h1  n hM  n este vectorul coeficienţilor structurii în scară iar
T

vectorul b  n  b0  n b1  n bM  n

T
înglobează secvenţa erorilor de predicţie
înapoi ale filtrului lattice.
Alegerea pentru intrările structurii în scară din Figura 8.10 a secvenţei erorilor de
predicţie înapoi b  n nu este întâmplătoare. Este momentul să reamintim aici una din
proprietăţile fundamentale ale structurii lattice, proprietate care a fost evidenţiată în
Capitolul 5 dedicat predicţiei lineare:
Secvenţa erorilor de predicţie înapoi b0  n , b1  n , , bM  n ale unui filtru lattice
este constituit din elemente ortogonale unul în raport cu celălalt, după cum arată
relaţia:
P , i  m
E bm  n bi  n   m (5.108)
0, i  m
unde Pm este valoarea medie minimă a erorii de predicţie înapoi a celulei lattice
m.
Prin urmare, dacă coeficienţii filtrului lattice  i sunt optimizaţi, acesta prin ieşirile sale
constituite din estimatele erorii de predicţie înapoi realizează operaţia de ortogonalizare a
vectorului de intrare. Din această perspectivă, putem spune că acţiunea structurii de filtrare
din Figura 8.10 este identică cu cea a unui filtru adaptiv cu transformare de domeniu,
 8.6 Algoritmi LMS pentru structuri lattice 255

transformarea de domeniu realizată de celulele lattice prin algoritmul LMS-GAL prezentat

în paragraful precedent fiind şi ortogonală dacă algoritmul e convergent. În aceste condiţii,
cea mai eficientă implementare a algoritmului LMS pe o structură lattice-scară face apel la
ecuaţia (8.65) a algoritmului LMS cu transformare de domeniu:
hˆ  n  1  hˆ  n   D
ˆ 1b  n e*  n
h (8.98)
unde D̂ este un estimat al matricii diagonale D definită prin


D  diag E  b0  n  , E  b1  n  ,

2

 
2

 
2

 
E  bM  n   diag  P0 , P1 , , PM  (8.99)

Recursia (8.98) scrisă mai sus la nivelul vectorului coeficienţilor poate fi descompusă în
M  1 ecuaţii scalare de recursie:

hˆi  n  1  hˆi  n  bi  n e*  n  , i  0,1, ,M (8.100)
ˆ  n
2
bi

unde ˆ b2i  n este o estimare a lui E  bi  n  . Acest fapt arată că prezenţa lui D
ˆ 1 în
2

 
ecuaţia (8.99) este echivalentă cu utilizarea de paşi diferiţi pentru fiecare din componentele
vectorului ponderilor filtrului hˆ  n .
Pentru implementarea lui (8.98) este necesar să se facă estimarea puterii semnalului de
intrare pe fiecare dintre celulele filtrului adaptiv în domeniu transformat, adică a lui ˆ b2i  n .
Se utilizează în acest scop ecuaţia de recursie
ˆ b2  n  ˆ b2  n  1  1    bi  n , i  0,1, , M
2
i i
(8.101)
unde  este o constantă pozitivă, apropiată dar mai mică decât unu. Tabelul 8.6 se consti-
tuie într-un rezumat al operaţiunilor algoritmului LMS-GAL.
În ansamblul său, sistemul adaptiv reprezentat în Figura 8.10 este descris prin două
seturi de coeficienţi adaptivi: coeficienţii de reflexie ai structurii lattice ˆi , i  0,1, , M şi
coeficienţii structurii de filtru transversal hˆi , i  0,1, , M . Cele două seturi se adaptează
simultan în paralel: prin coeficienţii ˆi se urmăreşte ortogonalizarea intrărilor structurii în
scară, prin coeficienţii hˆi se realizează adaptarea secvenţei de intrare u  n la semnalul dorit
d  n  . Marele avantaj al acestei structuri adaptive în comparaţie cu filtrele adaptive transver-
sale este că structura lattice furnizează setul ortogonal al erorilor de predicţie înapoi b0  n ,
b1  n , , bM  n , ceea ce are drept consecinţă faptul că intrările structurii în scară sunt
„decuplate”. În consecinţă, funcţionarea secţiunii în scară a structurii din Figura 8.10 nu este
afectată de problemele cauzate de împrăştierea valorilor proprii ale semnalului de intrare.
Bine înţeles, această comportare se produce numai după ce a fost obţinută convergenţa
coeficienţilor de reflexie ˆi . În practică, pe parcursul procesului de adaptare, există o
anumită dependenţă între erorile de predicţie înapoi, astfel încât structura în scară resimte pe
această perioadă efectul împrăştierii valorilor proprii. De remarcat că adaptarea
256 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8
Tabelul 8.6 Algoritmul LMS-GAL de filtrare adaptivă

1. Parametri:
M  1 - ordinul filtrului adaptiv
 ,  - constante în intervalul 0   ,   1
 ,   0,1
2. Iniţializare: Pentru i  0,1, , M  1
f 0  b 0  ˆ 0  hˆ 0  0
i 1 i 1 i 1 i

Ei 0  ˆ bi 0   ,  - constantă mică

3. Pentru n  1,2, se pune: f0  n  b0  n  u  n
4. Predicţia: Se calculează pentru ordinele de predicţie m  1,2, ,M
f m  n   f m 1  n   ˆm*  n  bm 1  n  1 ,
bm  n   bm 1  n  1  ˆm*  n  f m 1  n  ,


Em 1  n   Em 1  n  1  1    f m 1  n   bm 1  n  1
2 2
,

ˆm  n  1  ˆm  n  
Em 1  n 
 f  nb n  1  b n f n ,
*
m m 1 m
*
m 1

ˆ b2  n   ˆ b2  n  1  1    bm  n 
2
m m

5. Se formează vectorul de ieşire al predicţiei:

b  n  b0  n b1  n bM  n
T

6. Se determină semnalul de ieşire a filtrului:

y  n  hˆ H  n b  n
7. Se stabileşte eroarea la ieşirea filtrului:
e  n  d  n  y  n
8. Se calculează elementele vectorului pondere pentru pasul
următor:

hˆi  n  1  hˆi  n  bi  n e*  n  , i  0,1, ,M
ˆ  n
2
bi

9. Se incrementează variabila contor  n  n  1 şi se face salt la 3.

coeficienţilor de reflexie se face numai în raport cu u  n . Drept urmare, modificările în

statistica lui d  n vor afecta coeficienţii hˆi , dar nu şi coeficienţii de reflexie. Pentru semnale
u  n  staţionare, odată ce predictorul lattice a realizat convergenţa, erorile de predicţie înapoi
vor rămâne ortogonale chiar dacă d  n este nestaţionar.
 8.6 Algoritmi LMS pentru structuri lattice 257

Figura 8.11 Compararea performanţelor algoritmilor LMS-GAL,

LMS-DCT şi LMS standard din punctul de vedere al
evoluţiei EPM.
Exemplul 8.7 Ca şi în exemplele anterioare, urmărim să comparăm
performanţele algoritmului LMS-GAL de filtrare adaptivă cu cele ale algoritmului
LMS standard. Schema de filtrare GAL aleasă este structura lattice-scară din
Figura 8.10 care conduce la un algoritm LMS cu transformare de domeniu, ceea ce
ne-a permis să extindem comparaţia şi la cel mai performant algoritm din această
categorie, şi anume algoritmul LMS-DCT. Ca şi pentru alţi algoritmi LMS
dezvoltaţi în acest Capitol, comparaţia s-a realizat pe experimentul din Exemplul
7.4 şi reprezentat în Figura 7.10. S-a asigurat echivalenţa celor trei algoritmi
testaţi, prin ajustarea cuantelor  astfel ca în toate cele trei cazuri, eroarea
minimă J min să fie identică.
Toate cele trei filtre adaptive au M  11 coeficienţi iar paşii algoritmilor au
valorile:   0,06 în cazul LMS standard,   0,08 pentru algoritmul LMS-DCT
respectiv   0,002 pentru ajustarea coeficienţilor de reflexie ai celulelor lattice şi
  0,06 pentru ajustarea coeficienţilor structurii în scară în cazul algoritmului
LMS-GAL. Rezultatele prezentate în Figura 8.11 este obţinut în urma medierii a
300 de rulări distincte.
Examinând Figura 8.11, constatăm că performanţele algoritmului LMS-GAL sunt tot
aşa de bune ca performanţele celui mai bun algoritm LMS cu transformare de domeniu,
fiind net superioare performanţelor algoritmului LMS standard. Aceste performanţe bune
sunt obţinute cu preţul unei complexităţi mult mai ridicate a calculelor şi a dificultăţii
evidente de a trebui să controlezi algoritmul prin intermediul a doi parametri distincţi de pas.
258 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

Probleme
P 8.1 Algoritmul LMS cu semnul erorii este utilizat pentru a face predicţia înainte cu un
pas a semnalului u  n  sin  n 3 , utilizând un filtru FIR cu trei coeficienţi,
primul coeficient având valoarea fixată la 1, prin minimizarea valorii medii pătra-
tice a lui y  n . Calculaţi o valoare adecvată pentru pasul algoritmului  , semna-
lul de ieşire al filtrului y  n , şi coeficienţii filtrului pentru primele 10 iteraţii.
ˆ T 0  1 0 0 .
Valoarea iniţială a coeficienţilor este w
P 8.2 Într-o problemă de identificare de sistem, semnalul de intrare este generat de un
proces AR dat de ecuaţia
u  n  1,2u  n  1  0,81u  n  2  v n
unde v  n este zgomot alb gaussian de medie nulă şi varianţă  v2  1 . Sistemul
necunoscut are funcţia de transfer
H  z   1  0,9 z 1  0,1z 2  0,2 z 3
Filtrul adaptiv este un filtru transversal cu patru coeficienţi. Utilizând algoritmul
LMS cu semnul erorii implementat în MATLAB:
(a) Să se aleagă o valoare adecvată pentru  , apoi să se ruleze un ansamblu de 20 de
experimente şi să se reprezinte curba de învăţare mediată a algoritmului.
(b) Să se măsoare EPM în exces şi să se compare rezultatul cu valoarea teoretică.
P 8.3 Expresia algoritmului LMS cu „pierderi” (leaky-LMS) (Manolakis, ş.a. 2005) este
ˆ  n  1    w
w ˆ  n  1  e*  nu  n
unde coeficientul de pierderi este 0   1.
(a) Arătaţi că ecuaţia de recursie a coeficienţilor poate fi obţinută prin minimizarea
funcţiei de cost
J  n  e  n   w
ˆ  n
2 2

unde eroarea se defineşte ca de obicei: e  n  d  n  w

ˆ H  n u  n .
(b) Utilizând ipoteza de independenţă, arătaţi că
ˆ  n  I    R   I  E w
E w ˆ  n  1  p

unde R  E u  n u H  n şi p  E u n e* n  .

(c) Arătaţi că dacă 0    2   max  , unde max este cea mai mare valoare
proprie a lui R, atunci
 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS Probleme 259

ˆ  n   R   I  p
1
lim E  w
n 

ˆ   wo  R 1p .
ceea ce înseamnă că, în regim staţionar, E w
P 8.4 Repetaţi problema P 8.2 utilizând algoritmul LMS normalizat.
P 8.5 Să considerăm secvenţa sinusoidală înecată în zgomot
d  n  a sin  n     v  n
unde v  n este o secvenţă de zgomot. Frecvenţa  este cunoscută apriori, ampli-
tudinea a şi faza  sunt necunoscute. Pentru a obţine o estimare a acestor parame-
tri, se alege un filtru FIR cu doi coeficienţi la intrarea căruia se aplică semnalul
u  n  sin n şi ale cărui ponderi sunt astfel adaptate încât diferenţa dintre d  n
şi ieşirea filtrului y  n să fie minimizată în sensul celor mai mici pătrate. Ieşirea
filtrului y  n este, în aceste condiţii, estimarea „nezgomotoasă” a secvenţei
sinusoidale obţinută prin algoritmul LMS.
(a) Utilizând mediile temporale, găsiţi matricea de corelaţie R a semnalului de intrare.
(b) Determinaţi pasul algoritmului LMS care să permită realizarea unei dezadaptări
M  5% .
(c) Pentru valoarea pasului  determinată la punctul (b), stabiliţi constantele de timp
ale curbei de învăţare a filtrului şi arătaţi că convergenţa algoritmului LMS devine
mai lentă pe măsură ce  descreşte.
(d) Arătaţi că problema convergenţei lente a algoritmului LMS poate fi rezolvată dacă
se utilizează un algoritm TDAF cu matricea de transformare
1 1 1
T  
2 1 1
P 8.6 Repetaţi problema P 8.2 utilizând algoritmul cu transformare de domeniu LMS-
DCT. Comparaţi rezultatele cu cele obţinute la P 8.2 şi P 8.4.
P 8.7 Utilizaţi algoritmul de proiecţie afină cu K  3 pentru a egaliza un canal de
comunicaţii cu funcţia de transfer
H  z    0,34  0,27 j    0,87  0,43 j  z 1   0,34  0,21 j  z 2
Semnalul de intrare este de tip QAM cu patru simboluri, reprezentând secvenţe
binare generate aleator cu RSZ la receptor  u2ˆ  v2  20 , unde û  n este semnalul
util recepţionat fără a lua în considerare zgomotul adiţional de pe canal, v  n .
Filtrul adaptiv are 10 coeficienţi. Se va utiliza MATLAB în rezolvare.
(a) Rulaţi algoritmul pentru   0,1   0,4 şi   0,8 . Faceţi comentarii cu
privire la convergenţă pentru fiecare caz.
260 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8

(b) Reprezentaţi părţile reale şi părţile imaginare ale semnalului recepţionat înainte şi
după egalizare.
(c) Măriţi numărul de coeficienţi la 20 şi repetaţi experimentul de la punctul (b).
P 8.8 Repetaţi problema P 8.7 în cazul utilizării algoritmului LMS normalizat.
P 8.9 O modificare a algoritmului LMS cunoscută sub numele de MLMS (momentum
LMS) este definită prin:
w  n  w  n  1  e*  nu  n    u  n  1  u  n  2
unde   1 (Manolakis, ş.a. 2005).
(a) Rescrieţi ecuaţia de mai sus pentru a demonstra că algoritmul are structura unui
filtru trece-jos ( 0    1 ) sau trece-sus ( 1    0 ).
(b) Explicaţi intuitiv efectul termenului de „moment”   u  n  1  u  n  2 asupra
convergenţei algoritmului.
(c) Repetaţi experimentul cu egalizorul adaptiv din Exemplul 7.4, utilizând atât LMS
cât şi MLMS pentru a compara performanţele în următoarele cazuri:
i. W  3,1 LMS  MLMS  0,01   0,5.
ii. W  3,1 LMS  0,04 MLMS  0,01   0,5.
iii. W  3,1 LMS  MLMS  0,04   0,2.
iv. W  4,0 LMS  MLMS  0,03   0,3.
 9
Capitolul

9 Metoda celor mai mici

pătrate
roblema realizării unui filtru care să estimeze un semnal dorit pe baza unui alt semnal

P poate fi formulată atât din punct de vedere statistic cât şi determinist. Până acum,
începând cu Capitolul 4 al acestei cărţi, a fost examinat punctul de vedere statistic.
Filtrul Wiener şi versiunea sa adaptivă (algoritmul LMS şi algoritmii derivaţi din acesta)
reprezintă abordarea statistică a acestui proces, întrucât realizarea filtrului se bazează pe
minimizarea unei mărimi statistice, eroarea pătratică medie (EPM). În continuare, vom
examina metoda bazată pe abordarea deterministă şi care conduce la o clasă distinctă de
algoritmi adaptivi. Este vorba de metoda celor mai mici pătrate (LS – Least Squares în lite-
ratura de limbă engleză).
Metoda celor mai mici pătrate se constituie într-o alternativă la teoria filtrării optimale.
În principiu, filtrele Wiener se obţin, pornind de la medii statistice, cu rezultatul că filtrul
este optim din punct de vedere probabilistic în raport cu toate realizările procesului aleator
presupus staţionar în sens larg. Pe de altă parte, abordarea pe care o realizează metoda celor
mai mici pătrate este deterministă, pentru că utilizează medii temporale, ceea ce are drept
consecinţă faptul că filtrul depinde de numărul şi valoarea eşantioanelor luate în considerare.

9.1 Formularea problemei celor mai mici

pătrate
9.1.1 Ecuaţia matricială a erorii
Pornim de la structura generală de combinator linear adaptiv din Figura 9.1. Datele de intra-
re ale problemei care trebuie rezolvată sunt: setul de vectori de valoare complexă ai semna-
lelor de intrare u  n  u0  n u1  n uM 1  n şi secvenţa de semnal dorit de valoa-
T

re complexă d  n  cunoscute pentru momentele de timp 0  n  N  1 . La momentul de

262 METODA CELOR MAI MICI PĂTRATE - 9

Figura 9.1 Structura de combinator linear utilizată la

formularea problemei celor mai mici pătrate.

timp curent, coeficienţii filtrului formează vectorul w  n   w0  n wM 1  n .

T

Ieşirea filtrului este dată de produsul scalar al vectorilor w  n şi u  n :

M 1
y  n  w H  n u  n   wi*  n ui  n  (9.1)
i 0

Trebuie remarcat aici că elementele vectorului de intrare nu au fost specificate în mod

special, ceea ce înseamnă că acestea pot fi atât eşantioane succesive ale unui proces de intra-
re particular, aşa cum se întâmplă în cazul filtrelor FIR cât şi eşantioane ale unui set paralel
de semnale de intrare ca în cazul reţelelor de antene . În cazul uzual al structurii de filtrare cu
filtru FIR, expresia vectorilor de intrare devine u  n  u  n u  n  M  1 ,
T

0  n  N 1 .
Ca şi în cazul filtrului optimal Wiener-Hopf, problema LS constă în estimarea răspunsu-
lui dorit d  n de către semnalul de ieşire al combinatorului linear y  n . Eroarea de
estimare este definită prin
e  n  d  n   y  n   d  n   w H  n  u  n  (9.2)
iar coeficienţii structurii lineare din Figura 9.1 sunt astfel determinaţi încât să fie minimizată
funcţia de cost, care este în acest caz suma pătratelor erorilor definită prin
N 1

 e  n
2
E (9.3)
ń 0

Se observă că expresia (9.3) reprezintă energia semnalului de eroare. Pentru ca minimizarea

să fie posibilă, vectorul coeficienţilor w  n va fi menţinut constant pe perioada de timp pe
care s-a efectuat măsurătoarea: 0  n  N  1 . Vectorul constant w LS care rezultă în acest
proces de optimizare depinde de setul de valori măsurate şi poartă numele de estimator
linear de eroare LS.
 9.1 Formularea problemei celor mai mici pătrate 263

Expresia erorii de estimare poate fi scrisă matricial, dacă pornind de la relaţia

e  n  d *  n  u H  n w , exprimăm semnalul de eroare e  n  pentru momentele de timp
*

n  0,1, , N  1 astfel:
e  0   d   0   u H  0  w
e 1  d  1  u H 1 w
(9.4)

e  N  1  d   N  1  u H  N  1 w
Se introduc vectorii
e  e  0 e 1 e  N  1
H

d   d  0 d 1 d  N  1
H
(9.5)

y   y  0 y 1 y  N  1
H

şi matricea de dimensiune N  M
u0  0 u0 1 u0  N  1 
H

 
u  0 u1 1 u1  N  1 
A  u  0 u 1 u  N  1   1
H
(9.6)
 
 
uM 1  0 uM 1 1 uM 1  N  1
Prin urmare, ecuaţiile (9.4) se exprimă matricial astfel
e  d  y  d  Aw (9.7)
Matricea de date A poate fi partiţionată atât după coloane cât şi după linii, după cum
urmează
u H  0  
 H 
 u 1 
A u 0 u1 u M 1  
 
(9.8)
 H 
u  N  1
unde coloanele u k ale lui A

uk 0 uk 1 uk  N  1 , 0  k  M  1

H
uk
sunt denumite înregistrări de date iar liniile
u  n  u0  n u1  n uM 1  n , 0  n  N  1
T

poartă numele de înregistrări instantanee. Ambele modalităţi de partiţie a matricii de date,

ilustrate în Figura 9.2 sunt utile în deducerea, interpretarea şi calculul estimatorilor metodei
celor mai mici pătrate. Coloanele matricii de date A (înregistrări de date) sunt înregistrări
264 METODA CELOR MAI MICI PĂTRATE - 9

Figura 9.2 Reprezentarea grafică a vectorilor şi matricii care intervin în

ecuaţia matricială a erorii de estimare (9.7).
ale datelor colectate pe fiecare intrare a structurii de filtrare, în timp ce fiecare linie a acesteia
(înregistrare instantanee) conţine eşantioane ale tuturor intrărilor luate la un moment
specificat de timp.
Metoda celor mai mici pătrate definită prin ecuaţia (9.7) operează pe blocuri de date,
ceea ce înseamnă că prelucrează la un moment dat un cadru de N înregistrări instantanee
succesive utilizând etapele prezentate în Figura 9.3. Semnalele de intrare sunt asamblate în
cadre de N înregistrări instantanee, suprapunerea a două cadre succesive fiind de N 0
eşantioane. Valorile lui N şi N 0 depind de aplicaţie.
Impunând în ecuaţia (9.7) condiţia e  0 , se ajunge la un sistem de N ecuaţii cu M
necunoscute. Dacă N  M , atunci (9.7) are, de obicei, o soluţie unică. Pentru N  M ,
avem un sistem de ecuaţii lineare supradeterminat, care, în mod tipic, nu are soluţie. Din
contră, dacă N  M , sistemul de ecuaţii este subdeterminat, având o infinitate de soluţii.
Totuşi, indiferent dacă M  N sau N  M , sistemul (9.7) are prin metoda LS o soluţie
unică, naturală. În continuare, ne vom axa atenţia asupra sistemelor supradeterminate,
pentru că ele joacă un rol foarte important în aplicaţiile practice.

Figura 9.3 Implementarea la nivel de schemă bloc a metodei celor mai mici pătrate.
 9.1 Formularea problemei celor mai mici pătrate 265

9.1.2 Deducerea algebrică a ecuaţiilor normale în

metoda LS
Energia erorii (sau alternativ, funcţia de cost) pentru estimarea după cele mai mici pătrate
efectuată pe structura de filtrare liniară din Figura 9.1 este dată de pătratul normei vectorului
de estimare definit prin ecuaţia (9.7):
E  e  e H e   d H  w H A H   d  Aw 
2

 d H d  w H A H d  d H Aw  w H A H Aw (9.9)
ˆ
 E  w H pˆ  pˆ H w  w H Rw
d

N 1
Ed  d H d   d  n
2
unde: (9.10)
n 0
N 1
ˆ A H A   u  nu H  n
R (9.11)
n 0
N 1
pˆ A H d   u  n d *  n (9.12)
n 0

Dacă împărţim mărimile definite prin relaţiile (9.10)-(9.12) la numărul de eşantioane de date
N atunci observăm că mărimile Ed , R ˆ şi p̂ reprezintă estimări mediate în timp ale puterii
răspunsului dorit  d2 , ale matricii de corelaţie a vectorului de date de intrare R, respectiv ale
vectorului de intercorelaţie dintre răspunsul dorit şi vectorul de date, p.
Concluzia observaţiei de mai sus este evidentă şi se referă la faptul că toate formulele
obţinute prin aplicarea criteriului erorii pătratice medii (EPM) minime în cazul filtrării
optimale Wiener-Hopf rămân valabile şi în cazul metodei celor mai mici pătrate (LS) dacă
se înlocuieşte media statistică E  prin operatorul de mediere temporală
1 N   n0 
N 1
(Manolakis, ş.a. 2005). Acest lucru rezultă din faptul că ambele criterii de
minimizare conduc la funcţii de cost pătratice. Având în vedere această echivalenţă dintre
cele două abordări ale problemei filtrării adaptive, vom trece în continuare la deducerea
ecuaţiilor normale ale metodei LS.
Valoarea vectorului w LS al coeficienţilor combinatorului linear din Figura 9.1 care
minimizează expresia energiei erorii din relaţia (9.9) se obţine prin egalarea cu zero a
gradientului complex al lui E calculat în raport cu vectorul coeficienţilor:
 E  2A H d  2A H Aw  2pˆ  2Rw ˆ 0 (9.13)
w

Vom concluziona, prin analogie cu cazul filtrului optimal din paragraful 4.3, că coefi-
cienţii estimatorului LS, w LS , sunt daţi de soluţia ecuaţiei normale:
ˆ
LS  p
Rw ˆ (9.14)
266 METODA CELOR MAI MICI PĂTRATE - 9

Înlocuim soluţia (9.14) în expresia sumei pătratelor erorii pentru a stabili valoarea
minimă a acesteia, ELS :
ELS  E  w LS   Ed  pˆ H R
ˆ 1pˆ  E  pˆ H w
d LS (9.15)
În ceea ce priveşte rezolvarea problemei celor mai mici pătrate prin relaţia (9.14),
trebuie subliniat că din punct de vedere a efortului de calcul, acesta este mai mare la forma-
rea ecuaţiilor normale decât în rezolvarea lor. Într-adevăr, în cazul în care R̂ este o matrice
pozitiv definită, soluţia ecuaţiilor normale poate fi obţinută prin descompunerea LDLH sau
prin factorizarea Cholesky ca în paragraful 4.5. În schimb, calculul unui singur element, rˆíj ,
al estimării mediate în timp a matricii de corelaţie R̂ presupune efectuarea produsului scalar
al doi vectori cu N elemente:
N 1
rˆij  uiH u j   ui  n u*j  n, i  0,1, , M  1; i  j  M  1 (9.16)
n 0

Matricea R̂ fiind hermitică, doar elementele situate în partea superior triunghiulară a aceste-
ia trebuiesc calculate, adică sunt necesare M  M  1 N 2 operaţiuni aritmetice pentru
formarea acesteia. La acestea se adaugă şi efortul necesar pentru calcularea membrului drept
al ecuaţiei (9.14) care constă din M produse scalare de tipul
N 1
pˆ i  uiH y   ui  n y*  n, i  0,1, M 1, (9.17)
n 0

adică alte MN operaţii aritmetice.

9.1.3 Interpretarea geometrică a estimării prin

metoda celor mai mici pătrate
Pentru a da o interpretare geometrică a acţiunii metodei LS, trebuie să privim mărimile ce
intervin în ecuaţia vectorială a erorii (9.7), y, d şi A drept vectori şi hiperplane plasate într-
un spaţiu N-dimensional înzestrat cu produs scalar şi lungime (normă), definite prin:
N 1
ui , u j uiH u j   ui  n u*j  n (9.18)
n0
N 1
u, u   u  n  Eu
2
şi, respectiv u (9.19)
n 0

Estimarea prin metoda LS a răspunsului dorit pe intervalul de timp 0, N  1 este conţinută
în vectorul semnalului de ieşire
M
y  w LS   dˆ  Aw LS   wLS ,k u k (9.20)
k 1

care este o combinaţie lineară de înregistrări de date u k .

 9.1 Formularea problemei celor mai mici pătrate 267

d e  d  dˆ
LS

wLS ,1u1
wLS ,0u0

u1 u0
d̂
Figura 9.4 Interpretarea geometrică a estimării prin metoda LS pentru
cazul N  3 (dimensiunea spaţiului datelor) şi M  2 (dimen-
siunea subspaţiului de estimare).
Cei M vectori u k definesc un subspaţiu M-dimensional, denumit spaţiu de estimare,
care este spaţiul definit de coloanele matricii de date A . Ceea ce este evident este faptul că
orice vector y este plasat în spaţiul de estimare pentru că este combinaţie lineară de u k , în
timp ce vectorul răspunsului dorit d se găseşte în general în afara spaţiului de estimare.
Figura 9.4 ilustrează modul în care are loc estimarea LS pentru cazul M  2 şi N=3 .
Vectorul de eroare e uneşte în figură vârful vectorului estimării LS, d̂ cu vârful vectorului
semnalului dorit, d . Pătratul lungimii lui e este minim atunci când e este perpendicular pe
spaţiul de estimare, adică e  uk pentru 0  k  M  1 .
Afirmaţia anterioară se constituie în principiul ortogonalităţii a cărui formulare mate-
matică este:
N 1
uk , e  u kH e   uk  n e  n 0, 0  k  M  1 (9.21)
n0

sau, mai compact A H e  A H  y  Aw LS   0

sau:  A A w
H
LS  AH d (9.22)
în care recunoaştem ecuaţiile normale (9.14) ale estimării optime în sens LS.
O consecinţă imediată a principiului enunţat prin ecuaţia (9.21) este corolarul principiului
ortogonalităţii. Acesta rezultă din observaţia că vectorul e este ortogonal pe orice vector din
subspaţiul de estimare, deci, în particular, şi pe vectorul eşantioanelor ieşirii structurii de
filtrare ce are ponderile optimizate în sens LS:
N 1
dˆ , e  dˆ H e   dˆ  n e  n  0 (9.23)
n0

Soluţia problemei celor mai mici pătrate separă vectorul de răspuns dorit d în două
componente ortogonale, şi anume vectorul semnalului de ieşire optimizat în sens LS
y  w LS   dˆ şi vectorul de eroare e LS . Prin urmare:
2
d  dˆ  e LS
2 2
(9.24)
268 METODA CELOR MAI MICI PĂTRATE - 9

şi, utilizând relaţiile (9.18) şi (9.19), avem

ELS  Ed  w HLS AH Aw LS  Ed  w HLS AH d (9.25)
ceea ce este identic cu relaţia (9.15).

9.1.4 Proprietăţi ale soluţiei problemei celor mai mici

pătrate
Soluţia unui sistem de ecuaţii normale în sens LS există şi este unică. Condiţia ca aceste
ˆ  AH A
afirmaţii să fie corecte este ca matricea de corelaţie mediată în timp definită prin R
să fie inversabilă. Vom arăta în continuare că pentru ca condiţia enunţată să fie îndeplinită
trebuie ca vectorii coloană u k ai matricii A să fie linear independenţi sau echivalent, matri-
cea R̂ să fie pozitiv definită.
Condiţiile enunţate mai sus sunt atât necesare cât şi suficiente. Pentru a demonstra
acestea, vom considera pentru început că coloanele lui A sunt liniar independente, ceea ce
are drept consecinţă că pentru orice vector z  0 , produsul Az  0 . Consecinţa este că
pentru orice z  0 ,
z H  A H A  z   Az  Az  Az  0
H 2

cu alte cuvinte, matricea este pozitiv definită şi, în consecinţă nesingulară. În schimb, dacă
coloanele lui A sunt linear dependente atunci există cel puţin un vector z 0  0 astfel încât
Az  0 . Prin urmare, A H Az  0 , ceea ce înseamnă că matricea R ˆ  A H A este
0 0
singulară.
Pentru ca o matrice să aibă coloane liniar independente, numărul de linii trebuie să fie
mai mare sau egal cu numărul de coloane; altfel spus, trebuie să existe mai multe ecuaţii
decât necunoscute. În concluzie, o problemă LS supradeterminată ( N  M ) are soluţia
unică (9.14) dacă matricea de corelaţie mediată în timp R̂ este pozitiv definită sau echi-
valent, dacă coloanele matricii de date A sunt liniar independente (Manolakis, ş.a. 2005).
În condiţiile de mai sus, soluţia problemei celor mai mici pătrate se exprimă sub forma
ˆ 1pˆ   A H A  A H d  A d
w LS  R
1
(9.26)

 A A
1
unde: A H
AH (9.27)
este o matrice de dimensiune M  N cunoscută sub numele de pseudo-inversa matricii A
(Golub şi Van_Loan 1996).
Estimarea lui d prin metoda celor mai mici pătrate pe care ieşirea structurii de filtrare
din Figura 9.1, y  w LS   dˆ , o furnizează, poate fi exprimată prin
dˆ  Pd (9.28)
P A  AH A AH
1
unde: (9.29)
 9.1 Formularea problemei celor mai mici pătrate 269

poartă numele de matrice de proiecţie pentru că aceasta realizează proiecţia vectorului de

răspuns dorit d pe subspaţiul coloanelor matricii A pentru a forma estimarea LS d̂ a lui
d . În mod similar, vectorul de eroare al estimării LS e LS poate fi exprimat sub forma
e LS   I  P  d (9.30)
unde I este matricea identitate de dimensiune N  N . Matricea de proiecţie P este
hermitică. şi idempotentă, adică
P  PH (9.31)
şi, respectiv P P PP
2 H
(9.32)

9.1.5 Ecuaţiile LS normale ponderate

Rezultatele din paragraful precedent au fost obţinute prin utilizarea unei forme a criteriului
LS care acordă fiecărui eşantion a semnalului de eroare e  n  o pondere egală. Sunt situaţii
în care bazându-ne pe informaţii apriori, am putea dori să acordăm o pondere mai mare unor
anumite eşantioane ale semnalului de eroare prin utilizarea variantei ponderate a criteriului
LS:
N 1
E     n e  n  e H Λe
2
(9.33)
n 0

unde Λ  diag   0,  1, ,   N  1 (9.34)

este o matrice de ponderare diagonală ce are elemente pozitive. De obicei, se aleg ponderi
reduse acolo unde erorile sunt mari şi viceversa. Minimizarea funcţiei de cost E în raport
cu coeficienţii structurii de filtrare w , conduce la definirea soluţiei ponderate a problemei
celor mai mici pătrate (Weighted LS ~ WLS)
w  LS   A H ΛA  A H Λd
1
(9.35)

în ipoteza că inversa lui A H ΛA există. De remarcat că dacă Λ  I , atunci w LS  w LS .

Exemplul 9.1 Se cere estimarea prin metoda celor mai mici pătrate a secvenţei
de semnal dorit d  0 1 2 pe baza înregistrărilor de date u0   2 2 0 ,
T T

u1  1 4 3 . Să se determine coeficienţii filtrului optimal LS, estimarea LS d̂ ,

T

vectorul de eroare minimă e LS şi valoarea minimă a energiei erorii ELS .

Soluţie: Pentru început, calculăm
2 1  0
ˆ A A  2 2 0     8 10   2 2 0    2
1 4 3   2 4  10 26 , pˆ  A d  1 4 3  1   10 
T T
R
  0 3       2  
   

iar apoi rezolvăm ecuaţia normală (9.14) pentru vectorul coeficienţilor w LS

270 METODA CELOR MAI MICI PĂTRATE - 9

ˆ 1pˆ  13 54 5 54  2    4 9 ,

w LS  R  5 54 2 27  10  5 9 
    
şi secvenţele de ieşire ale filtrului d̂ şi de eroare e LS :
2 1   1 3 1 3 
    
  4 3  , e LS  d  dˆ   1 3
 
4 9
dˆ  Aw LS   2 4  
0 3  
59
5 3  1 3 
Valoarea funcţiei de cost pentru această estimare LS poate fi obţinută şi direct,
având în vedere că ELS  e LS
2
dar şi din (9.15):
 4 9 1
ELS  dT d  pˆ H w LS  5   2 10  
59 3
Calculele pot fi realizate alternativ, utilizând matricea de proiecţie:
 2 3 1 3 1 3
P  A A A A  1 3 2 3 1 3 
H 1 H

 1 3 1 3 2 3 

dˆ  Pd   1 3 4 3 5 3 .
T
De exemplu:
În sfârşit, soluţia obţinută verifică principiul de ortogonalitate împreună cu
corolarul său: uT0 eLS  u1T e LS  dˆ T e LS  0 .
Pachetul de programe MATLAB oferă multiple posibilităţi de rezolvare a problemei
celor mai mici pătrate. Operaţiunea de divizare la stânga X\y este soluţia în sensul celor mai
mici pătrate a unui sistem de ecuaţii supradeterminat unde X este o matrice pătrată M  N
iar y vector coloană de lungime N , M  N . În acelaşi scop este folosită şi funcţia w =
lscov(X,y). De exemplu, soluţia în Exemplul 9.1, se obţine prin comanda w =
lscov(A,d), unde A este matricea de date iar d vectorul răspunsului dorit.

9.1.6 Proprietăţile statistice ale estimatorilor LS

Studiul proprietăţilor statistice ale estimării prin metoda celor mai mici pătrate ne permite să
evaluăm calitatea acesteia. Pentru a efectua acest studiu, vom presupune că semnalul dorit
d este generat de procesul aleator
d  Awo  eo (9.36)
unde e o este vectorul aleator al erorilor de măsurare iar w o poate fi privit drept valoarea
„corectă” a vectorului coeficienţilor. Dacă se înlocuieşte relaţia (9.36) în ecuaţia normală
(9.22), coeficienţii estimatorului LS, w LS , se exprimă în funcţie de parametrii lui d :

w LS  w o   A H A  A H eo
1
(9.37)
 9.1 Formularea problemei celor mai mici pătrate 271

Pentru analiza efectuată vom considera că A este o matrice de constante iar pentru
vectorul de zgomot e o , vom admite următoarele:
1. este de medie nulă: E eo   0 , (9.38)
2. are componente necorelate de varianţă constantă  o2 . Expresia matricii de corelaţie
a vectorului e o este:
R o  E eoeoH    o2I , (9.39)
3. nu este corelat cu matricea de date A .
Pentru început, vom calcula media statistică a coeficienţilor filtrului LS. Aplicând
operatorul de mediere relaţiei (9.37), obţinem:
E  w LS   E  w o    A H A  A H E eo   w o
1
(9.40)

pentru că A este deterministă iar E eo   0 . Concluzia este că estimatorul în sensul celor
mai mici pătrate w LS realizează o estimare „nedeplasată” a vectorului w o (Haykin 1996).
Evaluăm în continuare matricea de covarianţă a coeficienţilor estimatorului LS, Γ LS ,
utilizând relaţiile (9.37) şi (9.39):
Γ LS  E  w LS  w o  w LS  w o  
H
 
(9.41)
  A H A  A H E eoeoH  A  A H A    o2  A H A    o2 R
1 1 1
ˆ 1

Este interesant de remarcat că în cazul estimării în sensul celor mai mici pătrate a para-
metrilor semnalului, energia erorii de estimare ELS poate servi pentru a face o estimare
nedeplasată a varianţei vectorului erorii de măsurare  o2 . În acest sens, vom nota prin N
numărul de observaţii efectuate şi prin M numărul de coeficienţi ai filtrului LS de estimare.
Utilizând relaţiile (9.30) şi (9.36), se scrie:
eLS   I  P  d  Aw o  A  A H A   A A  w  I  P e  I  P e
1 H
o o o (9.42)
ceea ce, având în vedere relaţia (9.32), conduce la
ELS  eLS e LS  eoH  I  P   I  P  eo  eoH  I  P  eo
H H
(9.43)
Pentru că ELS depinde de e o , ea este o variabilă aleatoare ce are valoarea medie:


E  ELS   E eoH  I  P  eo   E tr  I  P  eoeoH   (9.44)
 tr  I  P  E eoeoH    o2 tr  I  P 

În relaţia anterioară s-a avut în vedere că tr  AB   tr  BA  , tr fiind funcţia matricială

urmă. De asemenea,
272 METODA CELOR MAI MICI PĂTRATE - 9

tr  I  P   tr I  A  A H A  A H   tr I N  A  A H A  A H 
1 1

   
(9.45)
 tr  I N   tr  A H A  A H A   tr  I N   tr  I M   N  M
1

 
E  ELS 
Rezultă prin urmare:  o2  (9.46)
N M
Relaţia (9.46) dovedeşte că energia erorii de estimare în sens LS, ELS , reprezintă un
estimator „nedeplasat” al varianţei vectorului erorii de măsurare,  o2 (Manolakis, ş.a.
2005).

9.2 Filtre FIR realizate prin metoda celor

mai mici pătrate
În paragraful precedent am prezentat teoria generală a estimatorilor LS. În continuare, vom
aplica aceste rezultate la definirea şi proiectarea prin metoda celor mai mici pătrate a filtrelor
FIR lineare. Configuraţia de filtrare adaptivă din Figura 9.5 constituie o adaptare a structurii
generale din Figura 9.1 la cazul particular considerat. Ieşirea filtrului y  n realizează esti-
marea în sens LS d̂  n a răspunsului dorit d  n folosind eşantioanele semnalului de intrare
u  n . Reamintim că expresia secvenţei de eroare este
M 1
e  n  d  n  w H  n u  n  d  n    wk*u  n  k  (9.47)
k 0

unde u  n  u  n u  n  1 u  n  M  1 iar w   w0 wM 1 

T T
w1 este
vectorul coeficienţilor filtrului FIR.

Figura 9.5 Configuraţie de filtru transversal linear utilizat la

ilustrarea estimării LS în cazul filtrării FIR.
 9.2 Filtre FIR realizate prin metoda celor mai mici pătrate 273

Vom face presupunerea că estimarea LS se face prin utilizarea înregistrărilor semnalului

de intrare u  n şi ale răspunsului dorit d  n efectuate pe intervalul de timp 0  n  N  1 .
Pe toată această perioadă, coeficienţii filtrului wk , 0  k  M  1 , sunt menţinuţi constanţi
iar orice eşantioane de date situate în afara intervalului stabilit sunt considerate nule. De
exemplu la momentul n  0 , adică atunci când se efectuează prima măsurătoare, u  0 ,
pentru a calcula y  0 , filtrul are nevoie de eşantioanele u 0 , u  1, , u  M  1 .
Întrucât eşantioanele u  1 , , u  M  1 nu sunt disponibile, pentru ca filtrul să funcţio-
neze, va trebui ori să se atribuie valori arbitrare acestor eşantioane ori operaţia de filtrare să
debuteze cu momentul n  M  1 . Într-adevăr, pentru M  1  n  N  1 sunt disponibile
toate eşantioanele u  n şi d  n necesare pentru calcularea semnalelor de ieşire şi eroare
y  n şi e  n , M  1  n  N  1 . Pe de altă parte, dacă am dori ca filtrul să continue să
calculeze semnalul de ieşire până în momentul în care ultimul eşantion memorat u  N  1
ar părăsi memoria filtrului, ar trebui ca operaţia de filtrare să continue până la momentul
n  N  M  2 . Şi în această situaţie ar trebui să se atribuie valori arbitrare eşantioanelor
de care nu se dispune: u  N  , u  N  M  2 . Cel mai frecvent se atribuie valoarea zero
eşantioanelor care lipsesc din înregistrări, operaţie care poate fi privită drept decupare cu o
fereastră dreptunghiulară a secvenţelor u  n şi d  n . Pentru simplificarea argumentării,
vom ilustra operaţiunea de filtrare pentru cazul N  7 şi M  3 , scriind ecuaţia (9.47)
pentru n  0,1, , N  M  2 şi aranjând rezultatul în formă matricială:

sau, în general: e  d  Aw (9.48)

Forma generală a mărimilor e, d şi A depinde de domeniul Ni  n  N f pe care se măsoa-
ră în criteriul LS energia erorii:
Nf

 e  n
2
E  eH e (9.49)
n  Ni
274 METODA CELOR MAI MICI PĂTRATE - 9

Filtrul FIR optimizat în sensul celor mai mici pătrate se determină prin rezolvarea
ecuaţiilor normale ale estimatorului LS
 AH A w LS  AH d sau Rw
ˆ
LS  p
ˆ (9.50)
Valoarea minimă a energiei erorii are expresia
ELS  Ed  pˆ H w LS (9.15)
unde Ed este energia semnalului de răspuns dorit.
Spre deosebire de cazul general de estimator LS tratat în paragraful precedent, există o
serie de diferenţe în cazul descrierii filtrului FIR LS datorate faptului că în acest ultim caz,
coloanele matricii A sunt replici deplasate ale primei coloane. Astfel, elementele matricii
de corelaţie mediate în timp R̂ sunt date de
Nf

rˆij  uiH u j   u n  1  i u n  1  j ,
n  Ni
*
1  i, j  M (9.51)

unde u i sunt coloane ale matricii de date A . O simplă manipulare a expresiei (9.51)
conduce la o relaţie care stabileşte o legătură între elementele matricii R̂ ce sunt localizate
pe aceiaşi diagonală:
rˆi 1, j 1  rˆij  u  Ni  i  u*  Ni  j   u  N f  1  i  u*  N f  1  j  , 1  i, j  M (9.52)
Utilizarea recursiei (9.52) permite reducerea semnificativă a volumului de calcul pe care îl
necesită calcularea matricii R̂ (Manolakis, ş.a. 2005).
Există patru modalităţi de alegere a intervalului de timp Ni  n  N f pe care se fac
însumările pentru filtrele FIR cu estimare LS:
 Fără decupare (No windowing): Limitele de sumare sunt Ni  M  1 şi
N f  N  1 . În acest caz, se utilizează numai datele disponibile şi nu există
distorsiuni datorate includerii în calcul a unor date cu valori artificiale.
 Cu predecupare (Prewindowing): Limitele de sumare sunt Ni  0 şi N f  N  1 ,
ceea ce înseamnă forţarea u  1   u  M  1  0 . Drept urmare, termenul
u  M  i u  M  j  dispare din relaţia (9.52). Este o metodă utilizată pe larg în
*

filtrarea adaptivă LS.

 Cu postdecupare (Postwindowing): Însumarea se face între Ni  M  1 şi
N f  N  M  2 , cu consecinţa că u  N    u  N  M  2  0 . Drept urmare,
termenul u  M  i u  M  j  dispare din relaţia (9.52). Metoda este puţin utilizată
*

în practică.
 Cu decupare completă (Full windowing): Metoda combină cele două proceduri
anterioare, domeniul de sumare fiind cuprins între Ni  0 şi N f  N  M  2 şi are
 9.3 Tehnici de ortogonalizare utilizate în calculul estimării LS 275

drept consecinţă reducerea ecuaţiei (9.52) la egalitatea rˆi 1, j 1  rˆij . Drept urmare,
elementele rˆij depind doar de diferenţa i  j iar matricea R̂ este Toeplitz.
Este evident că pentru N M , diferenţele dintre performanţele diverselor metode
devin nesemnificative. Metodele no-windowing şi full-windowing sunt cunoscute în literatu-
ră sub numele de metoda de autocorelaţie respectiv metoda de covarianţă (Makhoul 1975).
Evităm utilizarea acestor termeni pentru că pot conduce la confuzii.

9.3 Tehnici de ortogonalizare utilizate în

calculul estimării LS
9.3.1 Factorizarea QR
Rezolvarea problemei celor mai mici pătrate presupune rezolvarea ecuaţiei normale (9.14)
ˆ A
care necesită mai întâi calcularea matricii de corelaţie mediată în timp R ˆ HA
ˆ şi a vecto-
rului de intercorelaţie mediat în timp pˆ  A d din datele A şi d . Deşi această abordare
H

este larg utilizată în practică, există unele aplicaţii care necesită metode de rezolvare cu
proprietăţi numerice mai bune. Atunci când consideraţiile privind precizia numerică prezintă
un interes major, tehnicile de ortogonalizare discutate în acest paragraf şi descompunerea în
valori singulare ce constituie obiectul următorului paragraf sunt metode care oferă perfor-
manţe superioare în rezolvarea problemei LS.
Transformarea ortogonală este o schimbare liniară de variabilă care nu modifică
lungimea vectorului:
y  Qx (9.53)
unde y şi x sunt doi vectori oarecare iar Q o matrice ortogonală, adică
Q1  QH  QQH  I (9.54)
Din această proprietate, se poate vedea simplu că multiplicarea unui vector cu o matrice
ortogonală nu schimbă lungimea vectorului:
y  y H y  x H QH Qx  x H x  x
2 2
(9.55)
Drept urmare, utilizarea transformărilor ortogonale nu amplifică erorile de rotunjire în
calcule, conducând la algoritmi care sunt numeric mai precişi. Există două căi de folosire a
tehnicilor de ortogonalizare în rezolvarea problemei LS:
 Utilizarea matricilor ortogonale pentru a transforma matricea de date A într-o
ˆ A
formă care simplifică soluţia ecuaţiilor normale fără a afecta matricea R ˆ HA
ˆ.
Oricare ar fi matricea ortogonală Q , se scrie:

 
H
ˆ HA
ˆ A
R ˆ A
ˆ H QQ H A
ˆ  QH A
ˆ ˆ
QH A (9.56)
276 METODA CELOR MAI MICI PĂTRATE - 9

Evident, această operaţie poate fi repetată de câte ori se doreşte, până când matricea
A H Q1Q2 ajunge într-o formă care să simplifice problema LS.
 Având în vedere că transformările ortogonale conservă lungimea unui vector,
multiplicând vectorul de eroare e  d  Aw printr-o matrice ortogonală nu se
modifică suma pătratelor erorii. Drept urmare, se poate scrie:
min e  min d  Aw  min Q H  d  Aw  (9.57)
w w w

Astfel, scopul în această abordare este găsirea unei matrici Q care să simplifice
rezolvarea problemei LS.
În cazul factorizării QR se găseşte o matrice ortogonală Q de dimensiune N  N care
satisface relaţia
R 
A  Q  (9.58)
0
unde, în practică, matricea Q este astfel concepută încât matricea R de dimensiune
M  M să fie superior triunghiulară. Utilizând relaţia (9.57), se obţine:
e  QH e  QH d  QH Aw (9.59)

Utilizând partiţionarea Q Q1 Q2  (9.60)

unde Q1 are M coloane, se obţine descompunerea
A  Q1 R (9.61)
ce este cunoscută sub numele de factorizare QR redusă. Similar şi vectorul de răspuns dorit
d se poate descompune în două componente:
Q H d   z 
z Q H d   1H   1  (9.62)
Q 2 d   z 2 
unde z1 are M componente iar z 2 are N  M componente. Înlocuirea relaţiilor (9.61) şi
(9.62) în (9.59) conduce la
R w  Q1H d  R w  z1
e     H   (9.63)
 0  Q 2 d  z 2

Pentru că termenul z 2  Q2H d nu depinde de vectorul coeficienţilor w , lungimea lui e

devine minimă dacă se alege w  w LS , adică:
R w LS  z1 (9.64)
2
ELS  Q2H d  z 2
2
şi (9.65)
unde sistemul de ecuaţii superior triunghiular din (9.64) poate fi rezolvat prin substituţie în
ordine inversă (vezi Capitolul 4, paragraful 4.5).
 9.3 Tehnici de ortogonalizare utilizate în calculul estimării LS 277
Tabelul 9.1 Rezolvarea problemei estimării LS prin metoda factorizării
QR.

1. Factorizarea QR
R 
A  Q 
0
2. Transformarea şi partiţionarea lui d
z 
z  QH d   1 
z 2 
3. Substituţie în ordine inversă  w LS
R w LS  z1
4. Calculul energiei erorii în sens LS
ELS  z 2
2

5. Calculul erorii prin transformare inversă

0
e LS  Q  
z 2 

Tabelul 9.1 rezumă etapele rezolvării problemei celor mai mici pătrate prin factorizare
QR.
Exemplul 9.2 Să se rezolve problema LS din Exemplul 9.1 prin metoda factori-
zării QR.
T
2 2 0
 , d   0 1 2
T
A
1 4 3 
Soluţie: Se calculează factorizarea QR cu funcţia MATLAB
[Q,R]=qr(A):
 0,7071 0, 4082 0,5774   2,8284 3,5355 
Q   0,7071 0, 4082 0,5774  , R   0
  3,6742 
 0 0,8165 0,5774   0 0 
Se parcurg în continuare etapele de rezolvare din Tabelul 9.1 utilizând secvenţă de
comenzi MATLAB:
z=Q’*d;
wls=R(1:2,1:2)\z(1:2);
Els=sum(z(3).^2);
Soluţia problemei celor mai mici pătrate este:
w LS   0,4444 0,5556 , ELS  0,3333
T

În aplicaţiile care necesită doar calculul vectorului de eroare e LS , nu este necesar să se

rezolve sistemul de ecuaţii triunghiular R w LS  z1 . În loc de aceasta, se poate calcula
278 METODA CELOR MAI MICI PĂTRATE - 9

direct vectorul de eroare prin e LS  Q 0 z 2 

H
sau comanda MATLAB
e=Q*[zeros(1,M) z2’]’. Această abordare poartă numele de extracţie directă a
erorii (Manolakis, ş.a. 2005) şi joacă un rol important în algoritmii şi structurile de filtrare
adaptivă LS.
Ori de câte ori stabilitatea numerică este importantă (Golub şi Van_Loan 1996), aplica-
rea directă matricii A a metodelor de descompunere ortogonală este de preferat procedurii
de rezolvare a ecuaţiilor normale ce presupune calculul lui R̂ în primă instanţă. Sensibilita-
tea soluţiei w LS la perturbaţii în A şi d depinde de raportul dintre cea mare şi cea mai mică
valoare proprie a lui R̂ , şi nu depinde de algoritmul utilizat la calculul soluţiei.
Există două clase de algoritmi care realizează factorizarea ortogonală:
1. metode care calculează matricea Q (factorizare QR completă): reflexii
Householder şi rotaţii Givens,
2. metode care calculează matricea Q1 (factorizare QR redusă): ortogonalizarea
Gram-Schmidt clasică sau modificată.
Costul unei descompuneri QR prin rotaţii Givens este dublu faţă de costul utilizării reflexii-
lor Householder sau ortogonalizării Gram-Schmidt. Metoda standard pentru calculul factori-
zării QR şi rezolvare a problemei celor mai mici pătrate utilizează transformarea Househol-
der. În schimb, rotaţiile Givens sunt preferate în implementarea filtrelor LS adaptive.

9.3.2 Transformarea (reflexia) Householder

Fie în plan un vector x şi o linie fixă l (vezi Figura 9.6). Dacă x se reflectă în raport cu linia
l, se obţine vectorul y , care este imaginea reflectată a lui x în raport cu l. Este evident că
vectorul x şi reflexia sa y au lungimi egale. Presupunând că x şi y sunt de lungime
nenulă, definim vectorul unitate z situat pe direcţia x  y , prin
1
z x  y (9.66)
xy

Figura 9.6 Vectorul de reflexie al lui Householder.

 9.3 Tehnici de ortogonalizare utilizate în calculul estimării LS 279

Având în vedere că expresia proiecţiei lui x pe z este  z H x  z , examinând Figura 9.6,

se obţine:
y  x  2  z H x  z  x  2  zz H  x   I  2zz H  x Hx (9.67)

unde H I  2zz H (9.68)

În general, orice matrice H de forma (9.68) cu z  1 este cunoscută sub numele de refle-
xie Householder sau transformare Householder (Ciochină şi Negrescu 1999) şi are urmă-
toarele proprietăţi:
HH  H HH H  I H1  H H (9.69)
cu alte cuvinte, matricea H este unitară.
Se poate realiza o matrice Householder H k care să lase neschimbate primele k  1
componente ale unui vector dat x , tot odată să modifice componenta k a vectorului şi, în
sfârşit, să anuleze restul de componente, adică să satisfacă relaţia
 xi , i  1, 2, , k  1

yi   Hx i   yk , i  k (9.70)
0, i  k  1, , N

unde componenta yk urmează să fie determinată. Alegând
12
 N 2
yk     xi  e jk (9.71)
 i k 
unde  k este direcţia unghiulară a lui xk (în caz că xk este o mărime complexă), atât x cât
şi y au aceiaşi lungime. În ceea ce priveşte alegerea semnului lui yk , există două posibili-
tăţi. Având în vedere că calculul lui z prin relaţia (9.66) implică o scădere (ceea ce poate
conduce la probleme numerice serioase atunci când cele două numere au valori apropiate),
se alege semnul negativ, astfel încât întotdeauna yk şi xk să aibă semne contrare. Aşadar,
yk  xk nu este niciodată diferenţa a două numere aproape egale. Prin urmare, utilizând
relaţia (9.66), z se calculează prin expresia
0 
 
 
0 
 j k 
 xk  sk  e 
1
z (9.72)
2sk  sk  xk   
x
 k 1 
 
 
 xN 
280 METODA CELOR MAI MICI PĂTRATE - 9

12
 N 2
unde: sk   xi  (9.73)
 i k 
În general, o matrice A de dimensiune N  M cu N  M , poate fi diagonalizată
printr-o secvenţă de M transformări Householder
HM H2 H1A  R (9.74)

sau A  QR (9.75)
unde Q H1H2 HM (9.76)
Trebuie remarcat că pentru M  N sunt necesare doar M  1 reflexii.
Exemplul 9.3: Să se calculeze, utilizând reflexiile Householder, factorizarea QR
a matricii A din Exemplul 9.1:
T
2 2 0
A 
1 4 3 
Calculăm vectorul z1  0,9239 0,3827 0
T
Soluţie: şi matricea de
reflexie Householder H1 pentru prima coloană a lui A cu relaţiile (9.72) şi
(9.68). Matricea A modificată este:
 2,8284 3,5355
H1A   0 2,1213 
 0 3 
Similar, se efectuează calculele pentru coloana a doua a matricii H1A . Se obţine
z 2  0 0,881 0,4597 şi, în continuare, rezultatele finale:
T

 2,8284 3,5355   0, 7071 0, 4082 0,5774


H1H 2 A  R   0 3, 6742 , H1H 2  Q   0, 7071 0, 4082 0,5774

 0 0   0 0,8165 0,5774
Funcţia MATLAB [Q,R]=qr(A) utilizează reflexii Householder pentru a calcula
factorizarea QR a matricii A .

9.3.3 Transformarea (rotaţia) Givens

A doua transformare elementară care nu modifică lungimea unui vector se face prin rotaţia
acestuia în jurul unei axe (vezi Figura 9.7). Pentru a descrie metoda lui Givens, vom
presupune pentru simplitate că vectorii sunt reali. Valoarea componentelor vectorului rotit y
se exprimă în funcţie de componentele vectorului original x astfel:
 9.3 Tehnici de ortogonalizare utilizate în calculul estimării LS 281

Figura 9.7 Transformarea prin rotaţie Givens.

y1  r cos      x1 cos  x2 sin 

y2  r sin      x1 sin   x2 cos
sau, sub formă matricială
 y1  cos  sin    x1  x 
 y    sin     G    1  (9.77)
 2  cos   x2   x2 
unde  este unghiul de rotaţie. Se poate demonstra uşor că matricea de rotaţie G   din
ecuaţia (9.77) este ortogonală şi are determinantul det G    1 .
Orice matrice pătrată de forma
1 0 0 0
 
 
0 c s 0  i
 
G ij    
0 s c 0  j (9.78)
 
 
0 1
 0 0
 
i j
cu c2  s 2  1 (9.79)
este cunoscută sub numele de rotaţie Givens. Când această matrice se aplică unui vector x ,
ea roteşte componentele xi şi x j cu unghiul   arctg  s c  , lăsând, în schimb, toate cele-
lalte componente neschimbate (Manolakis, ş.a. 2005). Comparând definiţia (9.78) cu (9.77),
se poate scrie c  cos şi s  sin  pentru un unghi  dat. Se arată uşor că matricea
G ij   este ortogonală.
282 METODA CELOR MAI MICI PĂTRATE - 9

Rotaţiile Givens au două caracteristici atractive. În primul rând, realizarea rotaţiei

y  G ij   x prin operaţiile
yi  cxi  sx j
y j  sxi  cx j (9.80)
yk  xk , k  i, j
necesită doar patru înmulţiri şi două adunări. În al doilea rând, c şi s pot fi alese astfel
încât să determine anularea componentei j a unui vector. Într-adevăr, este suficient ca în
(9.78) să se aleagă
xi xj
c , s (9.81)
xi  x j
2 2
xi  x 2j
2

pentru ca să se obţină yi  xi2  x 2j şi yj  0 (9.82)

Utilizând o secvenţă de rotaţii Givens, pot fi anulate succesiv toate elementele situate
sub diagonala principală a unei matrici A , furnizând astfel matricea superior triunghiulară
din factorizarea QR. Produsul tuturor matricilor de rotaţie Givens dă matricea Q a factori-
zării. Trebuie subliniat că ordinea în care se efectuează rotaţiile nu este arbitrară, întrucât
rotaţii ulterioare pot anihila zerouri introduse anterior.
Exemplul 9.4: Să se realizeze factorizarea QR a lui A din Exemplul 9.1:
T
2 2 0
A 
1 4 3 
utilizând metoda rotaţiilor Givens.
Soluţie: Ultimul element al primei coloane a lui A fiind nul, pentru
factorizarea QR a matricii sunt necesare două rotaţii Givens. Se începe cu anula-
rea elementului (2,1) pentru care calculăm matricea de rotaţie G 21 cu c  0,7071
şi s  0,7071 . Matricea G 21 şi rezultatul primei rotaţii sunt:
 0,7071 0,7071 0  2,8284 3,5355 
G 21   0,7071 0,7071 0  , G 21A  0
  2,1213 
 0 0 1  0 3 
După eliminarea elementului (3,2) prin rotaţia Givens G 32 dată de parametrii
c  0,5774 şi s  0,8165 , se obţine factorizarea QR a matricii A :
 2,8284 3,5355   0, 7071 0, 4082 0,5774
R  G 32 G 21 A  0 3, 6742 , Q  GT21GT32   0, 7071 0, 4082 0,5774
0 0  0 0,8165 0,5774
În cazul rotirii unui vector x complex, componentele vectorului rezultant y din (9.77)
sunt calculate cu relaţia
 9.3 Tehnici de ortogonalizare utilizate în calculul estimării LS 283

 y1   cos e j sin    x1 

 y    j   (9.83)
 2  e sin  cos   x2 
unde c cos şi s e j sin  . Elementul s al matricii de rotaţie G ij   din relaţia
(9.78) este înlocuit de  s* iar relaţia (9.79) devine c 2  s  1 .
2

9.3.4 Ortogonalizarea Gram-Schmidt

Fiind dat setul de M vectori linear independenţi u1 , u2 , , uM , se poate crea o bază orto-
normală de vectori q1 , q2 , , qM , care să definească acelaşi spaţiu ca şi setul de vectori
iniţial, printr-o procedură sistematică denumită metoda de ortogonalizare Gram-Schmidt
clasică (GS). Metoda GS porneşte prin alegerea vectorului
u1
q1  (9.84)
u1
drept primul vector al bazei ortonormale. Pentru a obţine pe q 2 , se exprimă u 2 ca sumă a
două componente: proiecţia  q1H x2  q1 a lui u 2 pe u1 şi un vector p 2 care este perpendicular
pe q1 . În consecinţă,
p2  u2   q1H u2  q1 (9.85)
iar q 2 se obţine prin normalizarea lui p 2 , adică:
p2
q2  (9.86)
p2
Vectorii q1 şi q 2 au lungime unitară, sunt ortonormali şi subîntind acelaşi spaţiu ca şi
u1 şi u 2 . În general, baza de vectori q j este obţinută prin scăderea din u j a proiecţiilor sale
pe vectorii deja calculaţi q1 până la q j 1 . Avem, prin urmare
j 1
p j  u j    qiH u j  qi
pj
şi q j  (9.87)
i 1 pj
pentru orice 1  j  M .
Algoritmul GS poate fi utilizat pentru a furniza factorizarea redusă Q1 R . Într-adevăr,
pornind de la vectorii de date u0 , u1 , , uM 1 , definim
rij  qiH u j şi rjj  p j (9.88)
j 1
şi avem: p j  rjj q j  u j   rij qi (9.89)
i 0

sau echivalent, dacă dorim să exprimăm pe u j :

284 METODA CELOR MAI MICI PĂTRATE - 9

j
u j   rij qi , j  0,1, , M 1 (9.90)
i 0

Utilizând notaţia matricială, putem exprima această ultimă relaţie ca A  Q1 R , unde

A  u0 u1 u M 1  ceea ce este exact definiţia factorizării QR reduse din ecuaţia
(9.61).
Principalele neajunsuri ale procedurii GS sunt date de faptul că aceasta nu produce
rezultate precise iar baza de vectori rezultată poate să nu mai fie ortogonală atunci când este
implementată într-o aritmetică de precizie finită. O comportare aritmetică mai bună se poate
obţine dacă calculele sunt făcute în forma cunoscută sub numele de algoritmul Gram-
Schmidt modificat (Modified Gram-Schmidt ~ MGS) (Dahlquist şi Bjorck 1974). Ca şi în
metoda GS clasică, primul pas al algoritmului MGS constă în definirea lui q1 :
u1
q1  (9.84)
u1
Spre deosebire de metoda originală, în continuare toţi ceilalţi vectori u2 , , u M sunt
modificaţi astfel încât să devină ortogonali pe q1 . În acest scop, din fiecare vector rămas se
scade proiecţia sa pe q1 :
ui1  ui   q1H ui  q1 , i  2, ,M (9.91)
În pasul al doilea se defineşte vectorul
u21
q2  (9.92)
u21

care este deja ortogonal pe q1 . Apoi, se modifică restul vectorilor rămaşi pentru a-i face
ortogonali pe q 2 :

 
ui 2  xi1  q2H ui1 q2 , i  3, ,M (9.93)

Continuând într-o manieră similară, expresiile lui q m şi ale vectorilor xmi  sunt:
umm 1
qm  (9.94)
umm 1

şi  
ui m  ui m1  qmH ui m1 qm , i  m  1, ,M (9.95)
Implementarea algoritmului Gram-Schmidt modificat este prezentată în Tabelul 9.2.
Proprietăţile numerice superioare ale algoritmului modificat rezidă din faptul că vectorii
succesivi ui m  generaţi prin ecuaţia (9.95) au dimensiuni descrescătoare iar produsul scalar
qmH ui m1 poate fi calculat mai precis decât produsul q mH ui .
 9.4 Rezolvarea problemei LS prin descompunerea în valori singulare 285
Tabelul 9.2 Ortogonalizarea unui set de vectori prin
algoritmul Gram-Schmidt modificat.

For m  1,2, ,M
rmm  um
2

qm  um rmm
For i  m, m  1, , M ,
rmi  qmH ui
ui  ui 1  rmi qm
next i
next m

9.4 Rezolvarea problemei LS prin

descompunerea în valori singulare
Metoda descompunerii în valori singulare (Singular Value Decomposition ~ SVD) ocupă
un loc însemnat în rezolvarea teoretică şi practică a problemei celor mai mici pătrate pentru
că, pe de o parte furnizează un cadru unificator pentru rezolvarea sistemelor de ecuaţii
supra- şi subdeterminate de rang maxim sau redus, iar pe de altă parte reprezintă cea mai
precisă metodă numerică de rezolvare în practică a problemelor LS. În acest paragraf, vom
discuta despre existenţa şi proprietăţile fundamentale ale SVD, arătând cum se utilizează
metoda la rezolvarea problemei LS.

9.4.1 Teorema descompunerii în valori singulare

Descompunerea în valori proprii a unei matrici pătrate hermitice o transformă pe aceasta
într-o matrice diagonală prin pre- şi postmultiplicare cu o unică matrice unitară (vezi
Proprietatea 5 din paragraful 3.6 referitor la valori şi vectori proprii). Descompunerea în
valori singulare generalizează prima transformare la cazul unei matrici oarecare care,
pentru a da o matrice diagonală, este multiplicată pre- şi post- cu două matrici unitare
distincte. Posibilitatea efectuării acestei operaţiuni, de maximă importanţă în algebra lineară,
este afirmată de teorema descompunerii în valori singulare, ce enunţă următoarele:
Orice matrice reală A de dimensiune N  M şi de rang r (r este numărul de
coloane linear independente ale matricii) poate fi descompusă astfel:
A  UΣV H (9.96)
unde U este o matrice unitară N  N , V este o matrice unitară M  M iar Σ
este o matrice N  M cu Σ ij  0, i  j şi Σ ii   i  0, i  1,2, , r . Numerele
 i poartă numele de valori singulare ale lui A şi sunt, de obicei, aranjate în
ordine descrescătoare: 1   2    r  0 .
286 METODA CELOR MAI MICI PĂTRATE - 9

Demonstraţia teoremei, pe care o dăm în continuare, urmăreşte raţionamentele făcute de

Stewart (1973) şi reluate de Manolakis, ş.a. (2005). Se porneşte de la observaţia că matricea
pătrată A H A este pozitiv semidefinită, având valorile proprii nenegative 12 , 22 , , M2 ,
ordonate astfel încât 1   2    r  0   r 1    M pentru 0  r  M . Fie
v1 , v 2 , , v M vectorii proprii care corespund valorilor proprii 12 , 22 , , M2 şi luăm în
considerare partiţia V   V1 V2  , unde V1 este alcătuit din primele r coloane ale lui V .
Dacă Σr  diag 1 , 2 , , r  , atunci se poate scrie V1H A H AV1  Σ2r şi:
Σr 1V1H A H AV1Σr 1  I (9.97)
Pe de altă parte, V A AV2  0 , cu consecinţa că
H
2
H

AV2  0 (9.98)
Dacă se defineşte U1 AV1Σr 1 (9.99)
atunci relaţia (9.97) devine U1H U1  I , cu alte cuvinte, coloanele matricii U1 sunt unitare.
În consecinţă, poate fi formată matricea unitară U U1 U2  printr-o alegere convenabilă
a componentelor matricii U 2 , astfel încât aceasta să îndeplinească condiţiile U2H U1  0 şi
U2H U2  I . Atunci:
 U1H   U1H AV1 U1H  AV2    Σr 0
U AV   H  A  V1
H
V2    H 
U 2H  AV2    0 0
(9.100)
U2   U 2 AV1
În deducerea lui (9.100) s-au avut în vedere relaţiile (9.97), (9.98) şi egalitatea
U2H AV1   U2H U1  Σr  0 , care derivă din definiţia (9.99).
Figura 9.8 face o descriere grafică a descompunerii SVD a matricii A .

9.4.2 Proprietăţi şi interpretări ale descompunerii în

valori singulare
Vom face în acest paragraf o prezentare succintă a consecinţelor pe care le are SVD, fără a
insista excesiv asupra demonstrării lor. Cititorul interesat le poate găsi în lucrările de algebră

Figura 9.8 Reprezentarea grafică a operaţiei de descompunere în valori proprii

a matricii de date A .
 9.4 Rezolvarea problemei LS prin descompunerea în valori singulare 287

lineară menţionate în bibliografia ataşată (Golub şi Van_Loan 1996, Stewart 1973).

1. Multiplicarea la dreapta (post-) a relaţiei (9.96) cu V , conduce la
AV  UΣ (9.101)
Vom nota prin v i coloanele matricii V , V   v1 v2 v M  şi prin u i coloanele
matricii U , U  u1 u2 u N  . Egalând coloanele celor două matrici care
intervin în relaţia (9.101), se obţine:
 u , i  1, 2, , r
Avi   i i (9.102)
0, i  r  1, , M
În concluzie, coloanele lui V (vectorii v i ) sunt vectorii singulari dreapta ai matricii A .
2. Multiplicând la stânga (pre-) relaţia (9.96) cu U H se obţine UH A  ΣV H . Egalarea
liniilor celor doi termeni ai ultimei egalităţi, conduce la
 u , i  1, 2, , r
uiH A   i i (9.103)
0, i  r  1, , N
Prin urmare, coloanele lui U (vectorii u i ) sunt vectorii singulari stânga ai matricii A .
3. Vom nota prin i   şi prin  i   , valoarea proprie numărul i în ordine descrescătoare
respectiv valoarea singulară numărul i în ordine descrescătoare a unei matrici date. Dacă
vectorii v1 , , v M sunt vectorii proprii ai lui A H A , iar vectorii u1 , , u N sunt vectorii
proprii ai lui AA H , atunci pătratele valorilor singulare 12 , 22 , , r2 ale matricii A
sunt primele r valori proprii nenule ale produselor A H A şi AA H , adică
i  A H A   i  AA H    i2  A  (9.104)

4. În produsul A  UΣV H , ultimele N  r coloane ale matricii U şi ultimele M  r

coloane ale matricii V sunt superfluu pentru că ele interacţionează doar cu blocuri de
zerouri ale matricii Σ . Această observaţie conduce la aşa-numita descompunere SVD
redusă a matricii A :
A  Ur Σr VrH (9.105)
unde U r şi Vr constau din primele r coloane ale matricilor U respectiv V iar
Σr  diag 1 , 2 , , r  .
5. Descompunerea în valori singulare se poate exprima astfel:
r
A   i ui viH (9.106)
i 1

Matricea A este suma produselor vectorilor singulari ponderată de valorile singulare.

6. Dacă matricea A are rangul r, atunci:
288 METODA CELOR MAI MICI PĂTRATE - 9

a. Primele r coloane ale lui U formează o bază ortonormală pentru spaţiul definit de
coloanele lui A (spaţiul de coloane al lui A ).
b. Primele r coloane ale lui V formează o bază ortonormală pentru spaţiul definit de
liniile lui A (spaţiul de linii al lui A ).
c. Ultimele M  r coloane ale lui V formează o bază ortonormală pentru spaţiul de
vectori ortogonal la liniile lui A (spaţiul nul al lui A ).
d. Ultimele N  r coloane ale lui V formează o bază ortonormală pentru spaţiul nul
al lui A H .
Descompunerea SVD a unei matrici A poate fi calculată prin formarea matricilor
pătrate A H A şi AA H urmat de calculul valorilor şi vectorilor lor proprii. Totuşi, această
abordare este, în general evitată din din cauză că „ridicarea la pătrat” a lui A pentru a forma
aceste matrici de corelaţie, conduce la o pierdere de informaţie (Manolakis, ş.a. 2005). În
practică se folosesc algoritmi performanţi ca de exemplu algoritmul R-SVD descris în Chan
(1982). Pachetele de programe matematice LA-PACK şi LINPACK includ algoritmi nume-
rici performanţi de calcul al SVD (Press, ş.a. 1992).

9.4.3 Soluţia de normă minimă a problemei LS

Până acum, în acest Capitol, problema LS a fost identificată cu rezolvarea unui sistem de
ecuaţii supradeterminat ( N  M ) ce are o matrice de date de rang maxim ( r  M )
utilizând ecuaţiile normale sau factorizarea QR. În continuare, vom prezenta modul în care
descompunerea SVD poate fi utilizată în rezolvarea problemei celor mai mici pătrate fără a
face vreo supoziţie cu privire la dimensiunile N şi M, sau la rangul r al matricii de date A .
Vom presupune cunoscută descompunerea SVD a matricii A  UΣV H . Având în
vedere ortogonalitatea matricii U , norma vectorului de eroare se scrie:
d  Aw  d  UΣV H w  U H d  ΣV H w (9.107)

Definind mărimile d U H d şi w V H w
obţinem valoarea energiei erorii în estimarea LS sub forma:
r N
d  Aw  d  Σw   di   i wi   d
2 2 2 2
i (9.108)
i 1 i  r 1

care este minimizată dacă şi numai dacă wi  di  i pentru i  1,2, , r . Se observă că
atunci când r  M , termenii wr1 , , wM nu apar în relaţia (9.108). Drept urmare, aceştia
nu au nici un efect asupra erorii totale şi pot fi aleşi arbitrar. Pentru a justifica ultima
afirmaţie se poate utiliza interpretarea geometrică a problemei LS din Figura 9.4. Există
numai o unică combinaţie lineară a vectorilor lineari independenţi u0 şi u1 care să conducă
la estimarea LS optimă. Dacă matricea de date are încă o coloană u 2 aşezată în acelaşi plan
cu celelalte două, atunci există o infinitate de combinaţii lineare w0u0  w1u1  w2u2 care să
satisfacă criteriul erorii LS minime. Pentru a obţine o unică soluţie LS, dintre toate soluţiile
care minimizează norma d  Aw , se alege soluţia cu w de lungime minimă. Matricea
 9.4 Rezolvarea problemei LS prin descompunerea în valori singulare 289

V fiind unitară, avem w  Vw  w , iar dacă se minimizează w , atunci şi w este

minim. Prin urmare, alegerea wr1   wM  0 furnizează soluţia de normă minimă a
problemei LS. În concluzie, soluţia unică de normă minimă a problemei celor mai mici
pătrate este
r
uiH d
w LS   vi (9.109)
i 1 i
 di uiH d
  , i  1, , r
unde wi   i i (9.110)
0 i  r  1, , M

N N

 d u
2
ELS  d  Aw  
2 2 H
iar i i d (9.111)
i  r 1 i  r 1

este energia erorii LS.

Să exprimăm soluţia de normă minimă a problemei celor mai mici pătrate prin
intermediul pseudoinversei matricii de date, determinată prin descompunerea SVD a
acesteia.. În acest scop, trebuie observat că relaţia (9.110) poate fi scrisă matricial astfel:
w  Σ d (9.112)
 Σ r 1 0
unde Σ   (9.113)
0 0
este o matrice pătrată N  N cu Σr 1  diag 1 1 ,1  2 , ,1  r  . Prin urmare, utilizând
relaţiile (9.109) şi (9.113), se obţine
w LS  VΣ U H d  Ad (9.114)
r
1
unde A VΣ U H   vi uiH (9.115)
i 1  i

este pseudoinversa matricii A . Dacă matricea de date este de rang maxim, r  M ,

pseudoinversa se defineşte prin A   A H A  A H (Golub şi Van_Loan 1996), astfel încât
1

utilizarea soluţiei din (9.115) conduce la ecuaţiile normale din (9.22). Dacă
N  M  rang  A  atunci A  A1 . Prin urmare, relaţia (9.115) are un caracter general,
indiferent dacă matricea A este pătrată sau dreptunghiulară, indiferent dacă este de rang
maxim sau nu. Formal, A  poate fi definită independent de problema LS ca fiind unica
matrice X care satisface cele patru condiţii Moore-Penrose:
AXA  A  AX   AX
H

(9.116)
XAX  X  XA   XA
H
290 METODA CELOR MAI MICI PĂTRATE - 9
Tabelul 9.3 Etapele rezolvării problemei celor mai mici pătrate prin
metoda descompunerii în valori singulare.

1. Se calculează descompunerea SVD A  UΣV H

2. Se determină rangul r al matricii de date A
3. Se calculează di  uiH d, i  1, , N
r
d
4. Se calculează w LS   i vi
i 1  i
N
5. Se calculează ELS   d
2
i
i  r 1

În concluzie, calculul unui estimator LS prin descompunere în valori singulare

presupune parcurgerea etapelor din Tabelul 9.3. Vectorul w LS obţinut este unic şi satisface
două condiţii:
1. minimizează suma erorilor,
2. are cea mai mică normă euclidiană.
Comparând din punctul de vedere a complexităţii calculelor aritmetice, diversele
metode de rezolvare a problemei celor mai mici pătrate, Golub şi Van_Loan (1996) arată că,
în cazul matricilor de date de rang maxim, toate celelalte metode sunt mai simple decât
metoda SVD. Totuşi, aceste metode sunt imprecise atunci când rangul lui A este redus
(aproape singular). În asemenea situaţii, SVD dezvăluie singularitatea matricii de date, fiind
metoda care asigură rezultate sigure chiar şi în aceste condiţii limită.
Exemplul 9.5: Utilizând procedura SVD detailată în Tabelul 9.3 se cere
rezolvarea problemei celor mai mici pătrate pentru matricea de date şi vectorul de
răspuns dorit specificate mai jos:
1 1 1 1 
2 2 1  2
A , d 
3 1 3 4
   
1 0 1 3 
Soluţie: În pasul întâi al procedurii SVD se calculează descompunerea
A  UΣV H , utilizând comanda MATLAB [U,S,V]=svd(A). Se obţine:
 0,3041 0, 2170 0,8329 0, 4082
 0, 4983 0,7771 0,3844 0,0000 
U ,
 0,7768 0, 4778 0,0409 0, 4082
 
 0, 2363 0,3474 0,3960 0,8165 
 METODA CELOR MAI MICI PĂTRATE Probleme 291

 5,5338 0 0 
0   0,6989 0,0063 0,7152 
V   0,3754 0,8544 0,3593 
1,5139 0
Σ ,
0 0 0, 2924 
   0,6088 0,5196 0,5994 
0 0 0 
Se observă direct că rangul matricei A este r  3 , ceea ce este şi rezultatul
funcţiei MATLAB r=rank(A). Paşii 3, 4 şi 5 din Tabelul 9.3. dau:
 5,1167 
 1,1821   3,0 
d  U d 
T   , w LS   1,5  , ELS  1,5
 0,9602 
   1,0 
 1, 2247 

Probleme
P 9.1 La intrarea unui combinator linear cu trei coeficienţi ce implementează metoda
celor mai mici pătrate, sunt furnizate următoarele înregistrări instantanee:
u 0  1 1 0 , u 1   2 1 1 ,
T T

u  2  1 1 1 , u 3  0 1 1
T T

(a) Determinaţi valorile matricii de proiecţie pe subspaţiul A , P şi ale matricii

complement ortogonal de proiecţie I  P pentru setul de date de intrare.
(b) Utilizând rezultatele de la punctul (a), stabiliţi estimarea LS d̂ a vectorului
d  1 2 1 1 . De asemenea, stabiliţi vectorul erorii minime asociat e LS .
T

Pentru a controla acurateţea rezultatului obţinut, evaluaţi dˆ H e şi arătaţi căLS

rezultatul este nul. Care este explicaţia acestui fapt?
P 9.2 La intrarea filtrului FIR din Figura 9.9 semnalul de intrare are valorile:
u 0  3, u 1  2, u 2  1, u 3  1 cu u  n  0 pentru n  0 şi n  3 .
Semnalul dorit este d 0  1, d 1  2, d  2  1, d 3  1 34 şi zero în rest.

u k  z 1
d k 

w0 w1
 e k 

y k 
Figura 9.9 Filtrul FIR din problema
P 9.2.
292 METODA CELOR MAI MICI PĂTRATE - 9

Utilizând metoda „prewindowing” (vezi paragraful 9.2), să se calculeze:

(a) Estimarea LS a coeficienţilor filtrului, w LS şi a vectorului de eroare e LS .
(b) Energia minimă a erorii de estimare ELS .
(c) Să se reia punctele (a) şi (b) prin metoda „no windowing”.
(d) Să se reia punctele (a) şi (b) prin metoda „postwindowing”.
(e) Să se reia punctele (a) şi (b) prin metoda „full windowing”.
P 9.3 Diferenţiind ecuaţia (9.9) în raport cu vectorul coeficienţilor w , arătaţi că
estimarea în sens LS a acestuia, w LS , este dată de soluţia ecuaţiei normale (9.14).
P 9.4 Fie varianta ponderată a criteriului LS definită prin E  e H We , unde W este o
matrice hermitică definită pozitiv.
(a) Minimizând energia de eroare E în raport cu vectorul w, arătaţi că expresia
estimatorului ponderat în sens LS este dată de relaţia
w wls   A H WA  A H Wd
1

(b) Utilizând descompunerea W  LDLH , arătaţi că varianta ponderată a criteriului

LS corespunde unei „prefiltrări” a erorii sau a datelor.
P 9.5 Consideraţi un sistem linear descris prin ecuaţia cu diferenţe finite
y  n  0,9 y  n  1  0,1x  n  1  v n
unde x  n este semnalul de intrare, y  n este semnalul de ieşire iar v  n este o
perturbaţie la ieşire. Presupunem că s-au colectat N  1000 eşantioane din datele
de intrare-ieşire şi că dorim să estimăm coeficienţii sistemului utilizând criteriul LS
în varianta „no windowing”. Utilizând MATLAB, determinaţi coeficienţii
modelului y  n  ay  n  1  dx  n  1 şi estimata matricei ei de covarianţă
ˆ 1 pentru
ˆ 2 R
e

(a) x  n şi v  n sunt secvenţe gaussiene necorelate între ele de medie nulă şi

varianţă unitară.
(b) x  n şi v  n sunt secvenţe gaussiene între ele de medie nulă cu  x2  1 şi
v  n  0,8v  n  1  w n este un proces AR(1) cu w n  zgomot alb de medie
nulă şi varianţă unitară. Comentaţi asupra calităţii estimărilor realizate,
comparând valorile matricilor ˆ e2 R ˆ 1 obţinute în fiecare caz în parte.

P 9.6 Se dă un set oarecare de date experimentale d  n , 1  n  N şi se urmăreşte să se

stabilească prin metoda celor mai mici pătrate parametrii a şi b ai unui model
linear y  n  a  bn , care să reprezinte cel mai bun model linear pentru datele
experimentale.
 METODA CELOR MAI MICI PĂTRATE Probleme 293

(a) Enunţaţi problema ca o problemă de filtrare în sens LS, stabilind expresii pentru
matricea de date de intrare A, vectorul semnalului dorit d , vectorul de eroare e,
funcţia de cost E şi vectorul coeficienţilor filtrului, w.
(b) Calculaţi soluţia de la punctul (a) care minimizează funcţia de cost ELS şi
stabileşte valorile optime pentru vectorul coeficienţilor, w LS .
(c) Implementaţi în MATLAB rezolvarea cazului practic în care
d  n  1,5  0,035n  v  n pentru n  0,1, ,N
unde v  n este zgomot alb gaussian de medie nulă şi varianţă unitară şi N  100 .
P 9.7 Determinaţi a şi b astfel încât funcţia f  x   axb să realizeze cea mai bună
aproximare în sensul celor mai mici pătrate a următorului set de date
experimentale:
x 0,5 1,0 1,5 2,0 2,5
y 0,49 1,60 3,36 6,44 10,16

P 9.8 Pentru setul de date:

x 1,0 2,5 3,5 4,0 1,1 1,8 2,2 3,7
y 6,008 15,722 27,130 33,772 5,257 9,549 11,098 28,828
(a) să se stabilească cea mai bună aproximare în sens LS printr-o funcţie lineară.
(b) să se stabilească cea mai bună aproximare în sens LS printr-o funcţie pătratică.
P 9.9 Rezolvaţi, utilizând transformarea Householder, problema de estimare LS de mai
jos:
T
 1 1 1 1
 , d   3 10 3 6
T
A
 2 3 2 1 
P 9.10 Reluaţi rezolvarea problemei P 9.8 Pentru setul de date:
x 1,0 2,5 3,5 4,0 1,1 1,8 2,2 3,7
y 6,008 15,722 27,130 33,772 5,257 9,549 11,098 28,828
(c) să se stabilească cea mai bună aproximare în sens LS printr-o funcţie lineară.
(d) să se stabilească cea mai bună aproximare în sens LS printr-o funcţie pătratică.
P 9.9, utilizând transformarea Givens.
P 9.11 Calculaţi prin metodele GS şi MGS factorizarea QR a matricii de date
4 2 1
2 0 1
A
2 0 1
 
1 2 1
294 METODA CELOR MAI MICI PĂTRATE - 9

Comparaţi rezultatele obţinute.

P 9.12 Să se calculeze descompunerea SVD, calculând valorile proprii şi vectorii proprii
ai produselor A H A respectiv AA H . Controlaţi rezultatele obţinute cu funcţia
svd din MATLAB.
 6 2 0 1 1
a A  şi  b  A   
 7 6   1 1 0
Să se determine pseudoinversa matricii A.
P 9.13 Se consideră matricea de dimensiune 2  2 cu valori complexe:
 1  j 1  0.5 j 
A
0.5  j 1  j 
Să se calculeze valorile singulare şi vectorii singulari ai matricii A , parcurgând
următorii paşi:
(a) Să se construiască matricea A H A , iar apoi să se evalueze valorile proprii şi
vectorii proprii asociaţi ai lui A H A .
(b) Să se construiască matricea AA H apoi să se evalueze valorile proprii şi vectorii
proprii asociaţi ai lui AA H .
(c) Să se stabilească legătura dintre valorile proprii şi vectorii proprii asociaţi obţinuti
la (a) şi (b), şi valorile singulare şi vectorii singulari ai lui A .
 10
Capitolul

10 Soluţii recursive ale

problemei LS
copul algoritmilor celor mai mici pătrate este să minimizeze suma pătratelor

S diferenţei dintre semnalul dorit şi semnalul de la ieşirea structurii de filtrare (Diniz

2008). Atunci când la fiecare nouă iteraţie a algoritmului, sunt recepţionate eşantioane
noi ale datelor procesate, soluţia problemei LS poate fi calculată într-o manieră recursivă
(Haykin 1996), ceea ce a condus la dezvoltarea algoritmilor recursivi de estimare a soluţiei
LS, cunoscuţi sub numele de algoritmi RLS (Recursive Least Squares). Studiul acestei
familii de algoritmi întreprinse în Capitolul de faţă porneşte cu algoritmul RLS standard şi
continuă cu algoritmii RLS ce se bazează pe factorizarea QR, algoritmii RLS QR. Aceşti
algoritmi nu impun restricţii asupra tipului operaţiei pe care structura de filtrare o realizează:
filtru FIR sau combinator linear.
Algoritmii RLS au o convergenţă mai rapidă decât algoritmii LMS şi păstrează, practic,
o viteză de convergenţă constantă, chiar şi în condiţiile în care gradul de împrăştiere a
valorilor proprii ale matricii de date este foarte mare (Manolakis, ş.a. 2005). De asemenea au
o comportare mai bună decât algoritmii LMS în cazul în care datele de intrare sunt nestaţio-
nare. Toate aceste avantaje ale algoritmilor RLS sunt obţinute cu costul unei complexităţi de
calcul mai mare şi a unor oarecare probleme de stabilitate, care nu sunt, totuşi atât de critice
ca în cazul algoritmilor LMS.
În Capitol sunt discutate câteva din proprietăţile algoritmilor RLS, printre care dezadap-
tarea şi rata de convergenţă, proprietăţi care sunt verificate în simulări sugestive pentru
acţiunea algoritmilor.

10.1 Filtre LS adaptive

Implementarea filtrelor adaptive LS urmăreşte obiectivul, ca la fiecare actualizare a
coeficienţilor, să se realizeze minimizarea sumei pătratelor erorii de la momentul de timp la
care a fost iniţiată acţiunea filtrului până la momentul de timp curent. Prin urmare,
coeficienţii filtrului la momentul n sunt astfel calculaţi încât să fie minimizată funcţia de cost
LS ponderată, definită în Capitolul 9 prin relaţia (9.33)
296 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

Figura 10.1 Ponderarea „exponenţială” a observaţiilor la momentele de

timp n şi n + 1. Datele mai „vechi” sunt neglijate mai
puternic de algoritm
n n
E  n    n  j e  j     n  j d  j   w H u  j 
2 2
(10.1)
j 0 j 0

unde e  j  este valoarea instantanee a erorii iar constanta  , 0    1 poartă numele de

factor de uitare. Datorită faptului că ponderile filtrului sunt menţinute constante pe parcursul
intervalului de observare 0  j  n , erorile de observaţie apriori şi aposteriori sunt identice.
Vectorul coeficienţilor obţinut prin minimizarea relaţiei (10.1) este notat prin w  n şi
asigură, din punct de vedere a criteriului LS, filtrarea optimală la momentul n. Atunci când
  1 , se spune că algoritmul are memorie cumulativă pentru că valorile coeficienţilor
filtrului sunt funcţie de toate valorile de intrare trecute. Se utilizează un factor de uitare sub-
unitar (vezi Figura 10.1) pentru a asigura că datelor aflate în trecutul mai îndepărtat li se
acordă o atenţie mai redusă, sunt „uitate” pentru a da filtrului posibilitatea de a urmări
variaţia semnalelor de intrare, atunci când acestea sunt nestaţionare.

10.1.1 Ecuaţiile de recursie ale matricii de corelaţie

şi vectorului de intercorelaţie
Reluăm din paragraful 9.1, expresiile care caracterizează filtrul adaptiv în sens LS ce
minimizează suma pătratelor erorii din (10.1). Coeficienţii optimali ai filtrului sunt
specificaţi prin ecuaţiile normale:
ˆ  n w  n  pˆ  n
R (10.2)
n
unde ˆ  n
R  n j
u  j u H  j  (10.3)
j 0

n
şi pˆ  n  n j
u jd *  j (10.4)
j 0

caracterizează estimările ponderate exponenţial ale matricii de corelaţie a semnalului de

intrare respectiv ale vectorului de intercorelaţie dintre intrare şi răspunsul dorit. Apariţia în
ultimele două expresii a termenului  n  j se datorează prezenţei acestuia în funcţia de cost
(10.1). Valoarea minimă a acesteia este:
Emin  n  Ed  n  pˆ H  n e  n (10.5)
 10.1 Filtre LS adaptive 297

n
Ed  n  d  j
n j 2
unde (10.6)
j 0

este energia ponderată exponenţial a semnalului de răspuns dorit.

Vom presupune acum că ne situăm la un anumit moment de timp n  M , şi că R ˆ  n
ˆ  n şi pˆ  n pentru a rezolva
este o matrice nesingulară. În acest moment se calculează R
ecuaţiile normale (10.2) în scopul determinării coeficienţilor filtrului w  n . Această
operaţiune, mare consumatoare de timp şi resurse de calcul, trebuie repetată pentru fiecare
observaţie nouă u  n , d  n , adică, la momentele de timp n  1, n  2, etc.
O primă reducere a efortului de calcul poate fi obţinută în urma observaţiei că relaţia
(10.3) se poate exprima recursiv astfel:
ˆ  n   R
R ˆ  n  1  u  nu H  n (10.7)

ceea ce arată că „noua” matrice de corelaţie R ˆ  n poate fi actualizată, prin însumarea

ˆ  n  1 cu informaţia „nouă” u  n u H  n . Simi-
„vechii” matrici de corelaţie ponderată R
lar, utilizând relaţia (10.4), se poate arăta că recursia temporală a vectorului de intercorelaţie
se face conform relaţiei
pˆ  n  pˆ  n  1  u  n d *  n (10.8)
Vom arăta în cele ce urmează că prin utilizarea recursiilor temporale (10.7) şi (10.8),
noul vector al coeficienţilor w  n poate fi determinat din vechiul vector w  n  1 şi noua
pereche de observaţii u  n , d  n , fără a rezolva efectiv ecuaţiile normale (10.2).

10.1.2 Algoritmul adaptiv LS apriori

ˆ  n  1 , respectiv pˆ  n  1 , iar
Dacă rezolvăm ecuaţiile (10.7) şi (10.8) pentru a extrage R
apoi se face apel la ecuaţiile normale (10.2), se obţine
 Rˆ n  unu H
n w n  1  pˆ n  u n d * n
sau, după câteva calcule simple se obţine:
Rˆ  n w  n  1  u  n e*  n  pˆ  n (10.9)
unde e  n  d  n  w H  n  1u  n (10.10)
este eroarea de estimare apriori. Dacă matricea R ˆ  n este inversabilă, prin multiplicarea
ˆ 1  n şi utilizarea ecuaţiilor normale (10.2) se obţine
ambilor termeni ai relaţiei (10.9) cu R
w  n  1  R
ˆ 1  nu  n e*  n  R
ˆ 1  npˆ  n  w  n (10.11)
Definind vectorul câştigului de adaptare g  n prin relaţia:
298 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

ˆ  n g  n u  n
R (10.12)
ecuaţia (10.11) se poate scrie astfel
w  n  w  n  1  g  n e*  n (10.13)
Ultima ecuaţie dezvăluie modul în care apare câştigul de adaptare g  n în ecuaţia de
recursie a vectorului coeficienţilor.
Exemplul 10.1 Vom determina în cele ce urmează ecuaţiile care guvernează
funcţionarea unui filtru LS adaptiv cu un singur coeficient. În acest caz particular,
M  1 , estimarea matricii de corelaţie R ˆ  n devine scalarul E  n . În sfârşit,
u

ecuaţiile care descriu funcţionarea estimatorului recursiv LS cu un coeficient se

obţin prin particularizarea ecuaţiilor (10.7), (10.10) şi (10.11):
Eu  n    Eu  n  1  u  n 
2

e  n   d  n   w*  n  1 u  n 
1
w n   w  n  1  u  n  e*  n 
Eu  n 
Ultima ecuaţie este similară cu ecuaţia unui algoritm LMS normalizat, pentru
că pasul LMS al algoritmului este   n  1 Eu  n . Pe de altă parte, ecuaţia
descrie un algoritm optim în sens LS.

10.1.3 Algoritmul adaptiv LS aposteriori

Înlocuind relaţiile (10.7) şi (10.8) în ecuaţiile normale (10.2) şi efectuând câteva calcule
matematice elementare, se obţine
R ˆ  n  1 w  n  u  n *  n  pˆ  n  1 (10.14)
unde   n  d  n  w H  n u  n  (10.15)
este eroarea de estimare aposteriori. Dacă matricea R ˆ  n  1 este inversabilă, din relaţia
(10.14) se obţine
w  n   1R
ˆ 1  n  1u  n *  n  R
ˆ 1  n  1pˆ  n  1  w  n  1

sau w  n  w  n  1  g  n *  n (10.16)

unde: ˆ  n  1 g  n u  n
R (10.17)
defineşte vectorul de câştig adaptiv alternativ g  n .
Având în vedere faptul că ecuaţiile de recursie (10.15) şi (10.16) sunt cuplate,
algoritmul LS aposteriori nu este aplicabil. Totuşi, dacă se înlocuieşte ecuaţia (10.16) în
(10.15), se obţine:
 10.1 Filtre LS adaptive 299

  n  d  n   w H  n  1    n g H  n u  n
 e  n    n g H  n u  n
e  n
sau   n  (10.18)
  n
unde   n 1  g H  nu  n  1   1u H  n R
ˆ 1  n  1u  n (10.19)
este cunoscut sub numele de factor de conversie. Prin urmare, pentru a calcula eroarea
aposteriori   n înainte de a realiza actualizarea vectorului coeficienţilor filtrului se pot
utiliza ecuaţiile (10.19) şi (10.18). Acest artificiu de calcul face posibilă implementarea
algoritmului adaptiv LS aposteriori. Dacă R ˆ  n  1 este o matrice inversabilă,   n  1 şi
  n  e  n , n .
Pentru a dezvolta o relaţie între vectorii de câştig adaptiv apriori şi aposteriori, se
compară relaţiile (10.13) şi (10.16), şi se face apel la definiţia factorului de conversie din
(10.18). Rezultatul:
g  n
g  n  (10.20)
  n
demonstrează că cele două câştiguri de adaptare sunt vectori ce au o direcţie unică dar
lungimi diferite. Totuşi, întrucât ecuaţiile (10.13) şi (10.16) descriu o unică realitate,
termenii de corecţie g  n e*  n şi g  n *  n sunt egali.
Un alt factor de conversie, ce se defineşte în funcţie de vectorul de câştig g  n este
  n 1  u H  n R
ˆ 1  nu  n  1  u H  n g  n (10.21)
Acesta are câteva interpretări interesante. Astfel, folosim relaţia (10.20) şi avem:
u H  n g  n
  n  1  ,
  n
  n  n    n   1  1  u H  n  g  n   1
1
sau   n  (10.22)
  n
ceea ce arată că cei doi factori de conversie sunt unul inversul celuilalt. Având în vedere că
estimarea matricii de corelaţie este pozitiv semidefinită, adică îndeplineşte condiţia
u H  n R
ˆ 1  nu  n  0 , relaţia (10.21) implică

0    n  1 (10.23)
300 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10
Tabelul 10.1 Operaţiuni matematice utilizate în implementarea filtrelor adaptive LS
apriori şi aposteriori.
Filtrul adaptiv LS apriori Filtrul adaptiv LS aposteriori
ˆ  n   R
Matricea de corelaţie R ˆ  n  1  u  nu H  n ˆ  n   R
R ˆ  n  1  u  nu H  n

Vectorul de câştig ˆ  n g  n u  n
R ˆ  n  1 g  n u  n
R
Eroarea apriori e  n  d  n  w
n  1un
H
e n  d  n  w H  n  1u n
Factorul de conversie   n  1  g  nu  n   n  1  g H  n u  n
H

Eroarea aposteriori   n    n e n   n  e  n   n

Ecuaţia de recursie w  n  w  n  1  g  n e  n w  n  w  n  1  g  n * n
*

Prin urmare, factorul de conversie   n este cuprins între 0 şi 1. Această limitare permite
interpretarea factorului ca fiind o variabilă unghiulară (Lee, ş.a. 1981) iar monitorizarea lui
  n oferă informaţii despre modul în care acţionează algoritmul RLS. Se poate arăta (vezi
problema P 10.4) că
ˆ  n  1
det R
  n   M (10.24)
det Rˆ  n

ceea ce demonstrează importanţa lui   n sau   n pentru inversabilitatea estimatei

matricii de corelaţie.
Tabelul 10.1 recapitulează operaţiunile matematice care definesc algoritmii LS adaptivi
apriori şi aposteriori, iar Figura 10.2 face o reprezentare grafică a procesului de filtrare

Figura 10.2 Reprezentarea grafică a elementelor de bază a

filtrului adaptiv LS apriori. Trebuie observat că
procesul de filtrare nu influenţează calculul
vectorului de câştig.
 10.2 Algoritmul RLS standard 301

adaptivă în cazul filtrului adaptiv LS apriori. În legătură cu acestea, se pot face două
observaţii importante (Manolakis, ş.a. 2005, Sayed 2008):
 Câştigul de adaptare depinde strict numai de semnalul de intrare. Răspunsul dorit
afectează doar amplitudinea şi semnul termenului de corecţie a coeficienţilor prin
intermediul semnalului de eroare.
 Cel mai mare efort de calcul în filtrarea adaptivă LS este reprezentat de calculul
vectorului de câştig adaptiv. Acest calcul presupune rezolvarea unui sistem de ecuaţii
lineare, care necesită un număr de O  M 3  operaţii la fiecare iteraţie a algoritmului.

10.2 Algoritmul RLS standard

10.2.1 Deducerea algoritmului
Punctul de pornire a algoritmului recursiv al celor mai mici pătrate (RLS – Recursive Least
Squares) sunt relaţiile de calcul al filtrelor adaptive LS (vezi Tabelul 10.1) dezvoltate în
paragraful precedent. RLS reduce efortul de calcul pe care implementarea relaţiilor din tabel
le presupune, prin utilizarea unei formule recursive de calcul al inversei matricii de corelaţie
ˆ  n din expresia câştigului de conversie (vezi relaţiile (10.12) şi (10.17)):
R

g  n  R
ˆ 1  n u  n (10.25)
sau g  n   1R
ˆ 1  n  1u  n (10.26)
Pentru a deduce algoritmul recursiv, începem prin a utiliza pentru inversa matricii de
corelaţie notaţia consacrată în literatură:
P  n R
ˆ 1  n (10.27)
În aceste condiţii, expresia relaţiei de calcul recursiv (10.7) devine
P1  n   P1  n  1  u  nu H  n (10.28)
În continuare, facem apel la lema de inversare matricială a cărei enunţ este (Ciochină şi
Negrescu 1999, Sayed 2008):
Fie matricile X, A, B, C şi D de dimensiuni M  M , M  M , M  N , N  N
respectiv N  M , dintre care X, A şi C sunt nesingulare, care satisfac relaţia
X  A  BCD (10.29)
În aceste condiţii, inversa matricii X este dată de:
X1  A1  A1B  C1  DA1B  DA1
1
(10.30)
Pentru a aplica lema (10.30) relaţiei de recursie (10.28), facem identificările:
X  P1  n , A   P1  n  1, B  u  n, C  1, D  u H  n
şi înlocuind în (10.28), obţinem:
302 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

  P n  1u n   P n  1u n

1 1 H

P  n   1

P n 1   (10.31)
1   1u  n P  n  1 u  n
H

Recunoaştem în numitorul membrului drept al ecuaţiei (10.31) definiţia factorului de

conversie   n din (10.19) în timp ce la numărător în paranteze putem identifica expresia
vectorului de câştig alternativ g  n din (10.26). Dacă facem apel şi la relaţia (10.20) care
face conversia dintre g  n şi g  n , ecuaţia (10.31) se scrie
P  n   1P  n  1  g  n g  n (10.32)
Ultima relaţie ne dă formula de recurenţă dorită. Într-adevăr, fiind dată vechea matrice
P  n  1 şi „noile” observaţii u  n , d  n , „noua” matrice P  n se calculează prin
următoarea procedură (Manolakis, ş.a. 2005):
g  n    1P  n  1 u  n 
  n  1  g H  n u  n
g  n (10.33)
g  n 
  n
P  n    1P  n  1  g  n  g H  n 
Ecuaţiile (10.33) descriu algoritmul RLS standard. Algoritmul este aplicabil indiferent de
tipul structurii de filtrare utilizate: combinator linear sau filtru FIR, pentru că nu este făcută
nici un fel de restricţie relativ la natura vectorului de date de la intrare. Totuşi, pentru filtrele
FIR se presupune că acestea sunt cu predecupare (pentru termen vezi paragraful 9.2), adică
u  n  0 pentru M  n  1 . O trecere în revistă a operaţiunilor ce constituie o
implementare practică a algoritmului RLS standard este făcută în Tabelul 10.2.

10.2.2 Ecuaţia de recursie a minimului funcţiei de

cost
Pentru a stabili ecuaţia de recursie pentru minimul funcţiei de cost descris prin relaţia (10.5),
vom observa pentru început că energia semnalului de răspuns dorit definită prin (10.6) poate
fi exprimată într-un format recursiv astfel:
Ed  n   Ed  n  1  d  n d * n (10.34)
Înlocuind (10.34) şi (10.13) în (10.5), avem
Emin  n   Ed  n  1  d  n d *  n  pˆ H n w n  1  pˆ H n g n e* n
În continuare, se înlocuieşte pˆ H  n din recursia (10.8):
 10.2 Algoritmul RLS standard 303
Tabelul 10.2 Implementarea practică a algoritmului RLS standard

1. Iniţializare:
w  1  0, P  1   1I,
  constantă mică pozitivă
2. Pentru fiecare n  0,1,2, se calculează:
a. Calculul vectorului câştigului de adaptare:
g  n   P  n  1 u  n 
     gH  n  u  n 
g  n 
g  n 

P  n    1  P  n  1  g  n  gH  n 
b. Filtrare şi calculul erorii:
e  n  d  n  wH  n  1 u  n
c. Ecuaţia de recursie a coeficienţilor
w  n  w  n  1  g  n e*  n
3. Se incrementează contorul  n  n  1 şi se execută salt la 2.

Emin  n   Ed  n  1  d  n  d *  n   pˆ H  n  g  n  e*  n 
d  n u H  n w  n  1  pˆ H  n  1 w  n  1
Rearanjăm termenii din ultima ecuaţie şi facem din nou apel la (10.5) pentru a scrie
Emin  n     Ed  n  1  pˆ H  n  1 w  n  1   d  n   pˆ H  n  g  n  e*  n 

 
  Emin  n  1   d  n   pˆ H  n  R
ˆ 1  n  R 
ˆ  n  g  n   e*  n 

  Emin  n  1   d  n   w HLS  n  u  n  e*  n 
ˆ  n şi inversa sa sunt hermitice.
unde pentru ultima ecuaţie se are în vedere că matricea R
Ultima expresie conduce la ecuaţiile de recursie dorite
Emin  n   Emin  n  1    n  e*  n 
(10.35)
  Emin  n  1    n   n
2

e  n
2

Emin  n   Emin  n  1  (10.36)

  n
304 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

Pentru că produsul   n e*  n este real, are loc egalitatea   n e*  n   *  n e  n. Valoarea

energiei minime de eroare Emin  n creşte odată cu trecerea timpului şi atinge o limită finită
numai în cazurile în care   1 .

10.2.3 Particularităţi ale algoritmului RLS standard

În acest paragraf vom discuta despre complexitatea aritmetică şi iniţializarea algoritmului
RLS, aşa cum este el descris de Tabelul 10.2.
O măsură a complexităţii aritmetice a algoritmului standard este reprezentată de numă-
rul de operaţii (o operaţie constă într-o înmulţire şi o adunare) necesare pentru a realiza o
recursie a algoritmului. În calcule se poate avea în vedere că matricea P  n este hermitică
şi, prin urmare, pentru a o actualiza este suficient să determinăm doar jumătatea sa
triunghiulară superioară (inferioară), ceea ce permite reducerea la jumătate a efortului de
calcul pe care îl presupune calculul ei. În aceste condiţii, o recursie necesită 2M 2  4M
operaţii (Manolakis, ş.a. 2005).
Calculul lui g  n şi actualizarea lui P  n se fac cu O  M 2  operaţii. Faţă de aceste
operaţiuni, toate celelalte formule din Tabelul 10.2, care presupun produse scalare sau multi-
plicări ale unor vectori cu scalari necesită O  M  operaţii. Prin urmare, datorită faptului că
în RLS, inversarea matricii R ˆ  n este înlocuită, în esenţă, prin împărţire cu un scalar, algo-
ritmul RLS reduce efortul computaţional al metodelor LS de la O  M 3  la O  M 2 
operaţii.
Iniţializarea algoritmului constă în impunerea unor valori iniţiale mărimilor P  n şi
w  n . O alegere uzuală este w  1  0 , dar în ceea ce priveşte matricea de corelaţie
ˆ  1 , valoarea ei nu poate fi nulă pentru că în primele iteraţii ale algoritmului ecuaţia de
R
recursie (10.32) ar fi neaplicabilă întrucât P  1  I (Sayed 2008).
Există două abordări în ceea ce priveşte fixarea valorii iniţiale P  1 . În primul rând, se
poate colecta un bloc de date iniţial u  n , d  n n , n0  M pe baza căruia să se calculeze
1

valorile iniţiale ale algoritmului: P  1 şi w  1 .

Abordarea utilizată în practică este să se stabilească P  1   1I , unde  este o
ˆ  n ia locul
constantă mică pozitivă. Drept urmare, oricare ar fi n  M , expresia  n I  R
matricii de corelaţie, ceea ce face ca soluţiile w  n să fie deplasate. Totuşi, pentru valori
mari ale lui n, alegerea constantei  nu este importantă întrucât algoritmul are capacitatea
de „a uita” pentru   1 .
Se poate arăta (Sayed 2008) că procedura practică de iniţializare conduce la un set de
coeficienţi care minimizează funcţia de cost modificată
 10.3 Analiza convergenţei şi performanţelor algoritmului RLS 305

n
E  n   n w    n  j d  j   w H u  j 
2 2
(10.37)
j 0

care ia locul expresiei (10.1). Dacă în aceste condiţii, semnalul de intrare este anulat, adică
u  n  0 , atunci relaţia (10.32) devine P  n   1P  n  1 , o recursie instabilă în condiţiile
în care   1 .

10.3 Analiza convergenţei şi

performanţelor algoritmului RLS
Scopul oricărui filtru adaptiv LS, ce operează asupra unor semnale staţionare, este să identi-
fice filtrul optimal w o  R 1p din observaţiile făcute asupra vectorului de intrare u  n şi a
semnalului de răspuns dorit
d  n  woH u  n  eo  n (10.38)
În scopul simplificării analizei vom utiliza în continuare ipoteza de independenţă introdusă
în paragraful 7.2.2. Rezultatele analizei pe care o întreprindem sunt valabile pentru orice
filtru adaptiv LS indiferent de tipul algoritmului recursiv utilizat la implementarea lui. Anali-
za este separată în două situaţii distincte:   1 (memorie infinită) şi   1 (memorie cu
„uitare”, memorie finită).

10.3.1 Analiza algoritmului cu memorie infinită

Pentru   1 , toate valorile semnalului de eroare, începând cu momentul iniţial, n  0 ,
influenţează într-o măsură identică funcţia de cost. Drept urmare, filtrul adaptiv îşi pierde
capacitatea de a urmări variaţiile semnalelor de intrare, ceea ce nu are vreun efect asupra
studiului nostru pe care îl efectuăm cu semnale de intrare staţionare.
În privinţa mediei statistice a vectorului coeficienţilor, E  w  n , pentru n  M ,
putem prelua direct soluţia LS din Capitolul 9, paragraful 9.1.6 pentru că cele două situaţii
sunt identice. Prin urmare:
E w  n  wo pentru n  M (10.39)
ceea ce înseamnă că algoritmul RLS converge în medie pentru n  M , unde M este numă-
rul de coeficienţi ai filtrului adaptiv.
Un alt rezultat important din Capitolul 9 şi care rămâne valabil pentru algoritmul RLS
cu   1 , se referă la matricea de covarianţă K  n a vectorului coeficienţilor. Pentru
n  M , avem
K  n  E  w  n  w o   w  n  w o     o2 E R
ˆ 1  n
H
 (10.40)
 
unde  o2 este varianţa zgomotului eo  n . Matricea de corelaţie R ˆ  n este descrisă printr-o
distribuţie Wishart complexă iar media inversei sale este dată de (Haykin 1996):
306 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

ˆ 1  n  1
E  R  R 1 , n  M (10.41)
nM
 o2
Drept urmare: K  n  R 1 , n  M (10.42)
nM
Deviaţia pătratică medie (DPM) este o măsură a mediei pătratului distanţei dintre coefi-
cienţii filtrului adaptiv şi cei ai filtrului optimal corespunzător. Deşi DPM nu este măsurabilă
în practică, ea este utilă în studiul pe care îl realizăm. Definiţia DPM este:
D  n E  w  n  w o 
2
(10.43)
 
Având în vedere definiţia matricii K  n din (10.40), este simplu de remarcat că D  n este
urma acestei matrici şi, prin urmare
 o2 M
D  n  tr  K  n 
1
nM
 i 1
(10.44)
i

unde i sunt valorile proprii ale lui R , care nu trebuie să fie confundate cu factorul de
„uitare”  . Ultima ecuaţie indică, pe de o parte că DPM este amplificat de cea mai mică
valoare proprie a lui R , iar pe de altă parte că DPM descreşte aproape linear cu timpul.
Parametrul eroare pătratică medie în exces, notată prin Pexc  n , defineşte mărimea cu
care EPM a filtrului adaptiv E  e  n  depăşeşte valoarea minimă a EPM a unui filtru
2

 
adaptiv, valoare realizată de filtrul Wiener. Pentru a calcula acest parametru în cazul studiat,
avem în vedere că formula (7.48) stabilită pentru algoritmul LMS sub ipoteza de
independenţă îşi păstrează valabilitarea pentru orice algoritm apriori:
Pexc  n  tr  RK  n  1 (10.45)
Particularizând pentru algoritmul RLS, vom substitui pe (10.42) în (10.45) pentru a obţine:
M
Pexc  n   o2 (10.46)
n  M 1
ceea ce arată că Pexc  n tinde către zero atunci când n   .

10.3.2 Analiza algoritmului cu memorie finită

În cazul 0    1, cele mai recente valori ale observaţiilor au cea mai mare influenţă asupra
estimării în sens LS a coeficienţilor filtrului.
În primul rând vom stabili tipul evoluţiei în medie statistică a vectorului coeficienţilor.
Înmulţim în acest scop ecuaţia de recursie a coeficienţilor (10.11) cu R ˆ  n şi facem apel la
(10.7) şi (10.10) pentru a obţine
Rˆ  n w  n   R
ˆ  n  1 w  n  1  u  n d *  n (10.47)
 10.3 Analiza convergenţei şi performanţelor algoritmului RLS 307

Dacă multiplicăm (10.7) cu w o şi scădem rezultatul obţinut din (10.48), rezultă

ˆ  n c  n   R
R ˆ  n  1c  n  1  u  n e*  n (10.48)
o

unde c  n  w  n  wo este vectorul de eroare a coeficienţilor. Rezolvarea ecuaţiei (10.48)

prin recursii succesive conduce la
n
c  n   n 1R
ˆ 1  n R
ˆ  1 c  1  R
ˆ 1  n   n  j u  j  e*  j 
o (10.49)
j 0

Ultima expresie indică faptul că c  n  depinde de condiţiile iniţiale şi de eroarea optimă

e*  n . În ipoteza că R
o
ˆ  n , u  j  şi e  j  sunt independente, aplicarea operatorului de
o

mediere statistică ecuaţiei (10.49) dă

E c  n   n1E R
ˆ 1  n c  1
 (10.50)

unde, conform paragrafului 10.2.3, am fixat P  1   1I,   0 . Dacă matricea R

ˆ  n este
pozitiv definită iar 0    1, atunci E c  n  0, când n   . Prin urmare, algoritmul
RLS cu factor de uitare exponenţial converge asimptotic în medie statistică către filtrul
optimal.
Vom evalua, în cele ce urmează, matricea de covarianţă a coeficienţilor filtrului. În
ecuaţia de recursie (10.48) efectuăm operaţiunile matematice:
c  n   R
ˆ 1  n R
ˆ  n  1 c  n  1  R
ˆ 1  n u  n e*  n 
o

c  n  1  R
ˆ 1  n u  n e*  n
o

pentru că R ˆ 1  n Rˆ  n  1 I pentru n mare. Dacă neglijăm dependenţa dintre

ˆ  n , u  n şi e  n , calculăm:
c  n  1 , R o

K  n  E c  nc H  n  2K  n  1   o2 E R

ˆ 1  nu  nu H  n R
ˆ 1 n (10.51)

ˆ 1  n .
Pentru a simplifica calculele, este necesară aproximarea convenabilă a matricii R
În acest scop, din definiţia (10.3) avem
ˆ  n    n  j E u  n u H  n  1   R
n n 1
1
E  R  j 0   1  R (10.52)
1 
unde ultima egalitate este justificată pentru n 1. Acceptând aproximarea
ˆ  n R
E  R ˆ  n , putem scrie:

ˆ 1  n
R 1    R1 (10.53)
Cu ultima aproximare obţinută înlocuim în (10.51) care devine astfel
K  n  2K  n  1  1     o2 R 1
2
(10.54)
308 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

o expresie care converge pentru că  2  1 . Atunci, în regim staţionar, scriem

1    K  1    
2 2 2
o R 1

deoarece K  n K  n  1 pentru n 1 . Deci:

1   2 1
K  o R (10.55)
1 
ceea ce ne permite să stabilim o expresie pentru deviaţia pătratică medie (DPM) sub forma
1  2 M 1
D   tr  K   o  (10.56)
1  i 1 i

Prin contrast cu expresia (10.44), se constată din (10.56) că DPM a algoritmului cu

  1 nu tinde la zero atunci când n   . Explicaţia se găseşte în observaţia că algoritmul
RLS cu memorie finită nu utilizează la formarea estimatului de totalitatea datelor de care
dispune
Determinarea erorii pătratice în exces Pexc  în cazul examinat presupune să facem
apel la relaţiile (10.45) şi (10.55). Avem:
1 
Pexc   tr  RK   M  o2 (10.57)
1 
ceea ce arată că, urmare a memoriei finite a algoritmului există o eroare în exces de regim
permanent care poate fi redusă pe măsură ce   1 , cu alte cuvinte, pe măsură ce memoria
efectivă a algoritmului creşte.

10.3.3 Simularea pe calculator

Sunt câteva concluzii care pot fi desprinse din analiza efectuată în acest paragraf .
Astfel, vom sublinia că toţi algoritmii RLS, indiferent de modul în care sunt implementaţi au
performanţe identice, dacă precizia numerică este suficientă. Din punctul de vedere a perfor-
manţelor algoritmului, algoritmii RLS sunt optimi pentru că la fiecare moment de timp,
aceştia minimizează energia ponderată a erorii (Tsypkin 1971). Aceste proprietăţi pot fi puse
mai bine în evidenţă de simularea pe calculator din exemplul care urmează.
Exemplul 10.2: Se consideră egalizorul adaptiv din Exemplul 7.4 prezentat în
schema bloc din Figura 7.10, în care se înlocuieşte blocul LMS printr-un bloc RLS.
Ne propunem să studiem performanţele algoritmului RLS şi să le comparăm cu
cele ale algoritmului LMS. Sursa de date de la intrarea canalului este o secvenţă
Bernoulli cu simboluri +1 şi -1, de medie nulă şi varianţă unitate. Canalul este
modelat de răspunsul la impuls de tip cosinus ridicat (7.72):
   2 
0,5 1  cos   n  2    , n  1, 2,3
h  n    W 
0,
 în rest
 10.3 Analiza convergenţei şi performanţelor algoritmului RLS 309

unde parametrul W controlează nivelul distorsiunilor introduse de canal (sau

împrăştierea valorilor proprii   R  ) introduse de canal. Zgomotul pe canal este
alb gaussian cu  v2  0,001 . Egalizorul adaptiv are M  11 coeficienţi, iar
semnalul dorit este obţinut prin întârzierea intrării cu   7 eşantioane. Pentru
implementarea algoritmului RLS se utilizează semnalul de eroare
e  n  d  n  y  n împreună cu semnalul de intrare u  n , condiţiile iniţiale fiind
w  1  0 şi   0,001 . Rezultatele au fost obţinute prin metoda Monte-Carlo în
urma a 100 de realizări pentru factorii de canal W  2,9 şi W  3,5 respectiv de
„uitare”   1 şi   0,8 . Rezultatele sunt prezentate în Figura 10.3.
Efectul împrăştierii valorilor proprii. Curbele de învăţare ale erorii pătratice medii ale
algoritmului RLS pentru W  2,9 şi W  3,5 împreună cu valorile minime ale erorii
pătratice medii sunt prezentate în Figura 10.3 (a). Se observă că rata de convergenţă a EPM
a algoritmului RLS, spre deosebire de algoritmul LMS, nu depinde de valoarea parametrului
W (sau, în mod echivalent de gradul de împrăştiere a valorilor proprii   R  ). Pe de altă
parte, nivelul de regim permanent al EPM creşte odată cu creşterea lui   R  .
Efectul factorului de uitare λ. Figura 10.3 (b) prezintă curbele de învăţare ale EPM
obţinute pentru algoritmul RLS în condiţiile utilizării a două valori diferite pentru λ, 1 şi 0,8.
Pentru   1 , după cum s-a explicat anterior, algoritmul are memorie infinită iar eroarea
EPM este nulă, lucru care este certificat şi de grafic. În cazul   0,8 memoria este finită,
ceea ce conduce la apariţia unei erori suplimentare, fapt relevat de graficul corespunzător.
Să ne referim la alegerea în practică a lui λ. Deşi λ poate lua orice valoare în intervalul
0    1, pentru că λ influenţează mărimea memoriei efective a algoritmului, se va alege
pentru λ o valoare apropiată de 1. Această valoare este determinată de numărul parametrilor
care trebuie determinaţi şi de mărimea dorită a memoriei efective. Valori tipice pentru λ sunt
cuprinse între 0,99 şi 1.

Figura 10.3 Graficele de analiză a performanţelor algoritmului RLS în problema de egalizare

adaptivă.
310 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

Compararea performanţelor algoritmilor RLS şi LMS. Pentru a face diferenţa între

ratele de convergenţă ale celor doi algoritmi, în Figura 10.3 (b) sunt reprezentate curbele lor
de învăţare în condiţii comparabile, adică pentru valori egale ale EPM de regim staţionar.
Este evident că RLS are performanţe mai bune, dar acestea sunt obţinute printr-o creştere
semnificativă a efortului de calcul.

10.4 Algoritmi RLS cu factorizare QR

Algoritmii RLS bazaţi pe descompunerea QR a matricii de date au o serie de avantaje care îi
recomandă atât în filtrarea FIR adaptivă cît şi în prelucrarea adaptivă a semnalelor într-un
combinator linear. Avantajele sunt:
1. algoritmii QR-RLS sunt echivalent algebric cu algoritmul RLS standard.
2. algoritmii au proprietăţi numerice mai bune decât algoritmul standard.
3. algoritmii sunt modulari şi pot fi implementaţi prin structuri de calcul paralel.
În funcţie de aplicaţia implementată, se utilizează algoritmul QR-RLS cu rotaţii Givens
în situaţiile în care este nevoie numai de secvenţele de eroare apriori e  n  sau aposteriori
  n . Atunci când sunt necesare şi valorile coeficienţilor filtrului adaptiv w  n , se preferă
utilizarea algoritmului QR-RLS invers bazat pe rotaţii Givens.

10.4.1 Calcule LS prin descompunere Cholesky sau

QR
Începem prin a reformula problema filtrării celor mai mici pătrate ponderate exponenţial în
termeni de matrici de date, după cum s-a discutat în paragraful 9.1. Dacă w  n este vectorul
coeficienţilor filtrului LS la momentul de timp n, se poate scrie
  j   d  j   w H  n u  j  , 0  j  n (10.58)

u  j   u1  j  u2  j  uM  j 
T
unde (10.59)
în cazul în care se utilizează un combinator linear şi
u  j   u  j  u  j  1 u  j  M  1
T
(10.60)
dacă se face filtrare FIR. Trebuie subliniat că w  n este menţinut constant pe intervalul de
optimizare 0  j  n . Utilizând matricea de dimensiune  n  1  M
u1  0 u1 1 u1  n  
 
u  0 u2 1 u2  n  
A H  n  u  0 u 1 u  M    2 , (10.61)
 
 
uM  0 uM 1 uM  n 

vectorul de răspuns dorit de dimensiune  n  1  1

 10.4 Algoritmi RLS cu factorizare QR 311

d  n  d 0 d 1 d  n

H
(10.62)

şi vectorul de eroare aposteriori de dimensiune  n  1  1

ε  n  0  1   n

H
(10.63)
putem combina cele n  1 ecuaţii (10.58) într-o singură ecuaţie matricială, astfel
ε  n  d  n  A  n  w  n  (10.64)
Pentru a exprima eroarea pătratică totală din (10.1) şi ecuaţiile normale din (10.2) într-un
format adecvat aplicării tehnicilor de factorizare ortogonală din paragraful 9.3, definim
matricea  n  1   n  1 de ponderare exponenţială
Λ2  n diag   n ,  n1 , ,1 (10.65)
În aceste condiţii, energia totală a erorii se exprimă astfel
n
E  n    n  j   j   Λ  n ε  n
2 2
(10.66)
j 0

iar coeficienţii filtrului LS reprezintă soluţia ecuaţiilor normale

ˆ  n w  n  pˆ  n
R (10.67)
n
unde ˆ  n     n  j u  j  u H  j    Λ  n  A  n  H  Λ  n  A  n 
R (10.68)
j 0

n
dˆ  n    n  j u  j  d *  j    Λ  n A  n  Λ  n d  n
H
iar (10.69)
j 0

se exprimă drept funcţii de matricea de date ponderată  Λ  n A  n şi vectorul de răspuns

dorit ponderat  Λ  n d  n .
În Capitolul 4 este prezentată o modalitate de rezolvare a ecuaţiile normale (10.66) prin
utilizarea descompunerii Cholesky
ˆ  n  L  n LH  n
R (10.70)

sau a descompunerii LDLH

ˆ  n  L  n D  n LH  n
R (10.71)
unde L  n  D1 2  n L  n .
ˆ  n  utilizând algoritmul
Matricea Cholesky L  n poate fi calculată atât din matricea R
de descompunere triunghiulară (vezi paragraful 4.5) sau din matricea de date  Λ  n A  n
utilizând una dintre metodele de descompunere (Givens, Householder sau MGS) discutate
în Capitolul 9.
312 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

Vom presupune acum că descompunerea QR1 este

 R  n
Q  n   Λ  n  A  n     (10.72)
0 
unde R  n este o matrice superior triunghiulară cu elemente diagonale pozitive iar Q  n
este o matrice unitară. Din ecuaţiile (10.68) şi (10.72) se poate scrie:
ˆ  n  R H  n R  n
R (10.73)
ceea ce implică, datorită unicităţii factorizării Choleski, faptul că L  n  R H  n . Deşi cele
două abordări sunt echivalente din punct de vedere algebric metodele de descompunere QR
au proprietăţi numerice superioare pentru că ele evită operaţia de ridicare la pătrat din
(10.68). Având în vedere că matricea R  n poate fi privită drept rădăcină pătrată a matricii
ˆ  n  , algoritmii bazaţi pe descompunerea Choleski a acesteia sunt denumiţi
de corelaţie R
algoritmi de rădacină pătrată.
Fiind dat factorul Cholesky R  n , vom rezolva pentru început sistemul de ecuaţii
inferior triunghiular
R H  n k  n pˆ  n (10.74)
pentru a obţine vectorul de corelaţie parţială k  n prin eliminare directă. În cazul
descompunerii QR vectorul k  n este obţinut prin transformarea vectorului Λ  n d  n şi
reţinerea primelor sale M componente, adică
k  n  
Q  n   Λ  n  d  n   z  n    (10.75)
 z 2  n
unde k  n  z M   n (vezi ecuaţia (9.62) din paragraful 9.3.1). Expresia energiei minime a
erorii în sens LS dată de
E  n  Ed  n  pˆ H  n w  n  d  n  k  n
2 2
(10.76)
a fost de asemenea demonstrată în paragraful 9.3.1.
Pentru a calcula coeficienţii filtrului, trebuie rezolvat prin eliminare înapoi sistemul de
ecuaţii superior triunghiular
R  n w  n  k  n (10.77)
După cum s-a arătat în paragraful 9.3.1, soluţia ecuaţiei (10.77) nu este recursivă după
ordinul filtrului.

1
Spre deosebire de Capitolul 9 unde pentru descompunerea QR s-a scris QH A  R , în acest capitol
vom utiliza notaţia utilizată în literatura tehnică, nu matematică: QH A  R .
 10.4 Algoritmi RLS cu factorizare QR 313

În cazul aplicaţiilor care necesită doar valorile erorilor apriori şi aposteriori, rezolvarea
ecuaţiei (10.77) poate fi evitată. Într-adevăr, dacă se defineşte vectorul de inovaţie2 LS w  n
prin relaţia
R H  n w  n u  n (10.78)
se obţine   n  d  n  w H  n  u  n   d  n   k H  n  w  n  (10.79)
şi e  n  d  n  w H  n  1u n  d n  k H n  1 w n , (10.80)
ecuaţii care pot fi folosite pentru a calcula erorile fără a se cunoaşte vectorul coeficienţilor
w  n . Mai mult, întrucât ambele sisteme de ecuaţii (10.74) şi (10.78) sunt inferior triun-
ghiulare, determinarea erorilor   n şi e  n  se face recursiv după ordinul filtrului de la 1 la
M.
Din discuţia efectuată în paragraful 10.1 a rezultat că partea centrală a algoritmului RLS
este reprezentată de calculul vectorului de câştig
ˆ  n g  n  u  n
R (10.81)
ˆ  n  1 g  n  u  n . Utilizând ecuaţiile (10.73),
sau, al vectorului de câştig alternativ  R
(10.78) şi (10.81), se obţine
R  n g  n  w  n (10.82)
Ultima ecuaţie exprimă vectorul de câştig prin intermediul matricii Cholesky R  n şi al
vectorului de inovaţie w  n . Similar cu relaţia (10.77), ecuaţia (10.82) pierde avantajul de a
putea fi rezolvată prin eliminare înainte, deci nu este recursivă după ordinul filtrului.
În concluzie, dacă pentru matricea Cholesky a lui R ˆ  n sau a lui R
ˆ 1  n ar putea fi
găsită o relaţie de recursie, atunci s-ar putea dezvolta algoritmi exacţi RLS care să furnizeze
atât valorile erorilor de filtrare şi vectorul coeficienţilor sau numai erorile de filtrare.
Relaţiile importante pentru dezvoltarea acestor algoritmi sunt rezumate în Tabelul 10.3.
Vom sublinia că dacă metoda de descompunere Cholesky determină factorii R  n şi k  n
prin factorizarea matricii  A  n d  n Λ2  n  A  n d  n , atunci metodele de
H

descompunere QR factorizează matricea de date Λ  n  A  n d  n . Indiferent de metoda

de factorizare utilizată, algoritmii cu descompunere triunghiulară calculează prin recursie
matricile rădăcini pătrate R  n şi R 1  n , ceea ce asigură că matricile
Rˆ  n  R H  n R  n şi R
ˆ 1  n  R 1  n R  H  n sunt în mod garantat hermitice şi îşi
păstrează astfel caracterul pozitiv definit. În consecinţă, aceşti algoritmi au proprietăţi mai
bune decât algoritmul RLS standard.

2
O explicaţie completă a noţiunii de inovaţie în contextul filtrării adaptive este dată în Capitolul 11.
314 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10
Tabelul 10.3 Algoritmii RLS cu descompunere triunghiulară realizează sau
recursia erorii şi a vectorului coeficienţilor sau numai recursia
directă a erorii.
Recursie erori şi coeficienţi Recursie numai pentru erori
R H  n w  n  u  n R H  n k  n  pˆ  n
R  n g  n  w  n R H  n w  n  u  n
e  n  d  n  w H  n  1u  n e  n  d  n  k  n  1 w  n
w  n  w  n  1  g  n e*  n

10.4.2 Leme de factorizare matricială

Deducerea variantelor QR ale algoritmului RLS se bazează pe două rezultate matriciale
foarte utile şi care îşi găsesc aplicaţiile atât în algoritmii QR-RLS cât şi în alţi algoritmi de
acest gen (Manolakis, ş.a. 2005, Sayed şi Kailath 1998). Din acest motiv, nu ne vom rezuma
la enunţarea lemelor ci vom face şi demonstrarea lor succintă. Prima lemă pe care o prezen-
tăm rezultă din echivalenţa algebrică care există între metodele de factorizare Cholesky şi
QR.
Lema 10.1 Descompunerea QR a matricii de date Λ  n A  n de dimensiune
 n  1  M este echivalentă cu factorizarea QR a matricii de dimensiune
 M  1  M
  R  n  1
 H  (10.83)
u  n  
Demonstraţie Considerăm următoarea partiţie a matricii Λ  n A  n
  Λ  n  1 A  n  1
Λ  n A  n   H  (10.84)
u  n 
Q  n  1 0
şi definim o matrice Q  n  1  H  (10.85)
0 1
pentru a obţine, prin utilizarea relaţiei (10.72):
  R  n  1
 
Q  n  1 Λ  n A  n   0  (10.86)
u H  n  
 
ˆ  n care să realizeze factorizarea QR a
Dacă se poate construi o matrice Q
membrului drept al ecuaţiei (10.86), atunci matricea unitară Q  n
Qˆ  n Q  n  1 realizează descompunerea QR a lui Λ  n A  n . Întrucât blocul
 10.4 Algoritmi RLS cu factorizare QR 315

de zerouri din (10.86) nu are vreun efect asupra asupra construcţiei matricii
Qˆ  n , construcţia lui Q
ˆ  n este echivalentă cu găsirea unei matrici unitare
care să realizeze factorizarea QR a matricii din (10.83).
Cea de a doua lemă este cunoscută sub numele de lema de factorizare matricială
(Golub şi Van_Loan 1996, Sayed şi Kailath 1998). Lema este un mijloc elegant de imple-
mentare a algoritmilor QR-RLS.
Lema 10.2 Dacă X şi Y sunt două matrici N  M  N  M  , atunci
XH X  Y H Y (10.87)
dacă şi numai dacă există o matrice unitară Q ( Q Q  I ) de dimensiune
H

N  N , care să realizeze transformarea

QX  Y (10.88)
Demonstraţie Din (10.88) avem YH Y  XH QH QX  XH X , ceea ce
demonstrează condiţia necesară din relaţia (10.87). Pentru a justifica suficien-
ţa, facem apel la descompunerea în valori singulare (SVD) a matricilor X şi
Y:
X  UX ΣX VXH , Y  UY ΣY VYH (10.89)
unde U X şi U Y sunt matrici unitare de dimensiune N  N , VX şi VY matrici
unitare M  M iar Σ X şi Σ Y sunt matrici N  M ce constau din valorile
singulare nenegative ale lui X şi Y . Utilizând (10.87) împreună cu (10.89),
se obţine:
VX  VY şi ΣX  ΣY (10.90)
Pentru a demonstra suficienţa lemei, definim matricea
Q UY U XH (10.91)
şi utilizăm relaţiile din (10.90) pentru a obţine
QX  UY UXH UX ΣX VXH  UY ΣY VYH  Y. q.e.d.

10.4.3 Algoritmul QR-RLS

Vom stabili, în cele ce urmează, modalitatea de actualizare a factorilor R  n şi k  n , a
matricii de date extinse Λ  n  A  n d  n , iar apoi vom calcula erorile apriori e  n  sau
aposteriori   n . Constatările la care vom ajunge sunt independente de metoda pe care o
vom utiliza la construcţia matricii de ortogonalizare Q  n .
Vom presupune că la momentul n sunt cunoscute vechile valori ale factorilor R  n  1
şi k  n  1 şi sunt recepţionate noile date u  n , d  n . Ceea ce se doreşte este să se
determine factorii noi R  n şi k  n , fără să se reia la fiecare iteraţie toate calculele deja
316 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

efectuate. În acest scop, vom arăta că dacă există o matrice unitară Q  n care să anuleze
vectorul u H  n din ultima linie a matricii din membrul stâng al relaţiei
  R  n  1  k  n  1 0  R  n k  n w  n
Q  n  H   (10.92)
u  n d  n
*
1  0H e*  n   n 

atunci matricea din membrul drept al relaţiei furnizează actualizările factorilor R  n şi

k  n precum şi valoarea nouă a erorii. Scalarul   n are o valoare reală pentru că este egal
cu ultimul element diagonal al lui Q  n . Semnificaţia şi utilitatea lui   n şi w  n vor fi
explicate în continuare.
Pentru a aplica Lema 10.2 matricilor
  R  n  1  k  n  1 0  R  n k  n w  n
X H  şi Y   H 
u  n d  n
*
1  0 e*  n   n 
vom face verificarea3
YH Y  R H  n R  n   R H  n  1 R  n  1  u H  nu  n  XH X (10.93)
11 11

YH Y  R H  nk  n   R H  n  1k  n  1  u H  n d *  n  XH X (10.94)

12 12

YH Y  R H  n w  n  u  n  X H X (10.95)
13 13

YH Y  k H  n w  n  e  n  n  d  n  XH X (10.96)
23 23

YH Y  w H  n w  n   2  n  1  X H X (10.97)
33 33

În primul rând, trebuie observat că (10.93) este identic cu ecuaţia de recursie (10.7) a
matricii de corelaţie. Prin urmare, R  n este factorul Cholesky al lui R ˆ  n . De asemenea,
(10.94) este identic, datorită lui (10.74), cu relaţia de recursie a vectorului de intercorelaţie
pˆ  n , iar (10.95) este identic cu definiţia din (10.78) a vectorului de inovaţie. Pentru a
dezvălui semnificaţia fizică a mărimilor e  n şi   n , vom remarca că prin compararea
relaţiilor (10.96) şi (10.79) se obţine
  n  e  n  n (10.98)
ceea ce arată că e  n este o versiune scalată a erorii aposteriori. Pornind de la (10.97) şi
utilizând (10.77), (10.73) şi (10.21), obţinem
 2  n  1  w H  n w  n  1  u H  n R
ˆ 1  nu  n    n (10.99)

sau   n    n (10.100)

3
ij
denotă elementul ij al unei matrici bloc.
 10.4 Algoritmi RLS cu factorizare QR 317

ceea ce arată că   n este un factor de conversie normalizat. Pentru că

  n    n e  n   2  n e  n  (10.101)
din relaţia (10.98) se obţine
e  n  e  n  n (10.102)
Prin urmare e  n este media geometrică a erorilor LS apriori şi aposteriori. În plus, (10.98)
şi (10.101) dau
e  n
e  n  (10.103)
  n
o relaţie care poate fi de asemenea demonstrată direct din ecuaţia (10.92).
În concluzie, pentru a determina recursiile factorilor Cholesky R  n şi k  n şi eroarea
apriori e  n  este nevoie să se determine o matrice unitară Q  n care să anuleze vectorul
u H  n în relaţia (10.92). Construcţia matricii Q  n este prezentată în paragraful 10.4.6.

10.4.4 Algoritmul QR-RLS extins

Algoritmul introdus în paragraful precedent nu furnizează vectorul coeficienţilor, care se
poate obţine în urma rezolvării prin substituţie a sistemului de ecuaţii superior triunghiular
R  n w  n  k  n . Substituţia în ordine inversă nu este recursivă după ordinul coeficienţi-
lor şi nu poate fi implementată printr-o structură de calcul paralel. Se poate alege o abordare
alternativă prin adăugarea a încă unei coloane la matricile algoritmului QR-RLS din (10.92).
Vom justifica algoritmul extins pe un model simplificat alcătuit din prima coloană a matricii
din (10.92) şi coloana cea „nouă”:
  R  n  1 R  H  n  1    R  n D n 
Q  n  H  H  (10.104)
u  n 0H  0 g H  n

unde D n şi g  n vor trebui determinaţi. În conformitate cu Lema 10.2 obţinem:

YH Y  R H  n D n   I  X H X (10.105)
12 12

ceea ce are drept rezultat că D n  R  H  n este factorul Cholesky al lui R

ˆ 1  n şi poate fi
actualizat prin aceiaşi transformare ortogonală Q  n . În plus, avem
1
YH Y  R 1  n R  H  n  g  n g H  n  R 1  n R  H  n  X H X (10.106)
22  22

Dacă în ultima ecuaţie utilizăm relaţia (10.73) rezultă

ˆ 1  n  P  n  1 P  n  1  g  n g H  n
R

318 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

Comparaţia ultimei ecuaţii cu (10.32) dă

g  n g  n
g  n   (10.107)
  n   n

Prin urmare, vom spune că g  n este versiunea scalată a vectorului de câştig RLS. Ecuaţia
de recursie în timp pentru calculul vectorului coeficienţilor se poate scrie, înlocuind
rezultatul găsit în (10.13):
w  n  w  n  1  g  n e*  n (10.108)
Metoda de recursie a vectorului w  n prezentată mai sus poartă numele de algoritmul
RLS extins (Sayed şi Kailath 1994, Yang şi Böhme 1992). Acest algoritm nu este larg utili-
zat pentru că recursia simultană a matricilor R  n şi R  H  n poate conduce la probleme
numerice, în special în implementările de precizie finită. Această problemă este evitată de
algoritmul QR-RLS invers ce este discutat în continuare.

10.4.5 Algoritmul QR-RLS invers

Introducerea algoritmului invers porneşte ca şi în situaţiile prezentate în paragrafele 10.4.3 şi
10.4.4 de la Lema 10.2. Pentru a aplica lema, se exprimă matricial unele dintre ecuaţiile ce
definesc filtrarea adaptivă LS din paragraful 10.1. Începem prin a face apel la (10.22) pentru
a rescrie ecuaţia (10.19):
1 1
1 u H  n P  n  1 u  n   (10.109)
   n
Din relaţiile (10.17), (10.20) şi (10.22) se scrie
1 g  n
P  n  1 u  n  (10.110)
   n
iar ecuaţia de recursie (10.32) dă:
1 g  n g H  n
P  n  1  P  n  (10.111)
   n   n
A patra ecuaţie utilizată este factorizarea Cholesky a inversei matricii de corelaţie P  n :
P  n  R
ˆ 1  n  R 1  n R  H  n (10.112)
Cele patru ecuaţii pot fi rescrise grupat sub forma identităţii matriciale
 10.4 Algoritmi RLS cu factorizare QR 319

 1 
 u H  n  R 1  n  1 1   1  H 1 H 
 R  n  1 u  n  R  n  1
   
 1 1  
 R  n  1 0  1 0 H

  
 H 1  (10.113)
0  0 R  H  n 
   
n 
   1 g H  n 
g  n 
 R 1  n     n

   n  

   n 


unde R 1  n este o matrice superior triunghiulară. Din (10.113) şi Lema 10.2 rezultă că
există o matrice unitară Q  n astfel încât egalitatea de mai jos să fie satisfăcută.

 1 H 1 H  0 R  H  n
R  n  1 u  n  R  n  1 1 
Q  n    g H  n 
 
(10.114)

1     n   n 
H
0

Se demonstrează astfel că, prin anularea lui R  H  n  1u  n   w  n  , se
realizează actualizarea factorului Cholesky R  H  n , a vectorului de câştig normalizat
g  n   n şi a factorului de conversie   n . Ca şi în cazul celorlalţi algoritmi QR,
singura cerinţă pe care trebuie să o îndeplinească matricea Q  n este să anuleze vectorul
linie u H  n R 1  n  1  . Acest algoritm ca şi algoritmul RLS standard se iniţializează
prin impunerea condiţiei R  H  1   1I , unde  este un număr pozitiv foarte mic.

10.4.6 Implementarea algoritmului QR-RLS prin

utilizarea rotaţiilor Givens
Pentru a dezvolta un algoritm RLS bazat pe descompunerea QR, este nevoie să construim
matricea Q  n care să anuleze vectorul u H  n din membrul drept al ecuaţiei (10.92).
Întrucât calculul vectorului w  n nu este necesar în dezvoltarea algoritmului iar   n
poate fi calculat din matricea Q  n , după cum vom vedea mai târziu, pentru deducerea
algoritmului vom utiliza o formă redusă a ecuaţiei (10.92)
  R  n  1  k  n  1  R  n k  n 
Q  n    (10.115)
u H  n 
 d 
* n
  0 H
 e 
* n
 
R n 
320 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

şi vom arăta cum pot fi anulate elementele lui u H  n unu câte unu, utilizând o secvenţă de
M rotaţii Givens. Să reamintim aici că matricea R  n  1 este superior triunghiulară. În
primul pas se construieşte matricea de rotaţie Givens G 1  n care operează asupra primei şi
ultimei linii a lui R  n în scopul anulării primului element al lui u H  n . Pentru a stabili
parametrii rotaţiei c1 şi s1 se utilizează primul element din prima linie şi primul element din
ultima linie a matricii, iar apoi se aplică rotaţia restului de M perechi de pe cele două linii.
Mai exact, dorim să găsim o rotaţie Givens care să realizeze operaţia:
c1 0H s1*    r11  n  1  r12  n  1  r1M  n  1  k1  n  1
  
0 I 0  0 
  s1 0 H
 c1  u1*  n  u2*  n  uM*  n  d * n 

 r11  n  1 r12  n  1 r1M  n  1 k1  n  1
 
 0 
 
0 u2 2  n  uM  n 
 2
d  n 
 2

Elementele matricii R  n  1 sunt rij  n  1 . Pentru a asigura compatibilitatea notaţiilor,

vom defini uk1  n uk  n şi d 1  n d  n .
În continuare, utilizând termenii  r22  n  1 şi u2 2  n , se determină matricea
G  2  n şi se anulează cel de al doilea element de pe ultima linie prin rotaţiile a M  1
perechi de termeni de pe a doua linie şi de pe ultima linie a matricii G 2  n R  n .
Generalizând acum, se utilizează termenii  rii  n  1 şi uii   n pentru a stabili matri-
cea de rotaţie Givens G i   n care operează asupra liniei i şi a ultimei linii a matricii rotite
Gi 1  n G1  n R  n în scopul anulării elementului uii   n :

ci 0H si*  0 0  rii  n  1  riM  n  1  ki  n  1

  
  si 0H ci  0 0 ui i 
 n uM  n 
i 
d i 
 n 
(10.116)
0 0 rii  n ri ,i 1  n  riM  n  ki  n  
 
ui1   n uM  n d  n 
i 1 i 1  i 1
0 0 0

 rii  n  1 ui   n
i

unde ci  si  (10.117)
rii  n rii  n

şi 
rii  n   rii2  n  1  ui   n
i
2 12
 (10.118)
 10.4 Algoritmi RLS cu factorizare QR 321

În concluzie, dacă cele M  i  1 perechi de rotaţii elementare din (10.116) sunt realiza-
te pentru i  1, 2, , M se realizează anularea primelor M elemente de pe ultima linie a
matricii R  n , aceasta fiind convertită în forma triunghiulară din relaţia (10.115). Acest
proces necesită un număr total de M  M  1 2 perechi de rotaţii elementare. Matricea de
ortogonalizare este:
Q  n  G  n nG1 n
M
G
2
(10.119)
1 
 
 
 1 
 
ci  n  si  n 
*

unde G i   n   (10.120)
 1 
 
 
 1 
 
  si  n  ci  n  
sunt matricile de rotaţie de dimensiune  M  1   M  1 ce au toate elementele diagonale
nule, cu excepţia celor plasate în locaţiile  i, M  1 şi  M  1, i  .
Relaţia (10.92) evidenţiază faptul că   n este egal cu ultimul element de pe diagonala
matricii Q  n . În plus, dacă luăm în considerare structura specială a lui G i   n precum şi
relaţia (10.119), obţinem:
M
  n   ci  n (10.121)
i 1

adică,   n este produsul termenilor cosinus din cele M rotaţii Givens. Ultima observaţie
explică interpretarea de variabile unghiulare care se dă factorilor de conversie   n şi
  n   2  n .
Chiar dacă soluţia unei probleme LS nu este definită atunci când n  M , algoritmul de
rotaţie Givens se poate iniţializa cu R  1  0 şi k  1  0 . Tabelul 10.4 prezintă
algoritmul QR-RLS cu rotaţii Givens. Pentru fiecare iteraţie, algoritmul operează 2M 2
multiplicări, 2M divizări şi M rădăcini pătrate.
Algoritmul din Tabelul 10.4 poate fi implementat printr-o structură de calcul paralel
care utilizează o reţea triunghiulară de procesoare după cum ilustrează Figura 10.4 pentru
M  3 . Întreaga reţea funcţionează cu un tact unic, ccea ce face ca în reţea să se producă
transferul de date în mod regulat. Datorită gradului ridicat de paralelism, se pot realiza viteze
foarte mari de prelucrare a datelor. Modul de funcţionare regulat şi paralel a făcut ca aceste
322 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

structuri specializate de prelucrare digitală să primească numele de structuri (sau reţele)

sistolice (Ciochină şi Negrescu 1999).
Pentru a descrie funcţionarea structurii din Figura 10.4, vom remarca că la momentul de
timp n  1 , termenii matricii R  n  1 şi ale vectorului k  n  1 sunt memoraţi în
elementele reţelei. Cele mai noi date de intrare achiziţionate la momentul n,
u H  n d * n  sunt introduse în paralel prin partea superioară a reţelei şi se propagă
descendent. Parametrii de rotaţie Givens sunt calculaţi în celulele marginale şi se propagă de
la stânga spre dreapta. Celulele interne primesc parametrii de rotaţie din stânga, realizează
rotaţia datelor pe care le primesc de sus şi transmit rezultatele rotaţiei celulelor vecine situate
la dreapta respectiv sub celula considerată. Factorul de conversie   n este calculat în celu-
lele marginale iar valoarea erorii apriori sau aposteriori se calculează în ultima celulă a
reţelei. Această procedură de recursie este repetată la fiecare moment de timp odată cu
achiziţionarea noului pachet de date.
Tabelul 10.4 Algoritmul QR-RLS bazat pe rotaţii Givens

1. Iniţializare: rij  1  0, ki  1  0, i, j  1, ,M

2. Recursie temporală: n = 0,1,....
e  n  d  n ,   n  1
For i  1,2, , M


rii  n   rii2  n  1  ui   n
i
2 12

 rii  n  1 ui   n
i

ci  si 
rii  n rii  n
(dacă rii  n  0  c  1 şi s  0 )
For j  i  1, i  2, , M
u  cu j  n  srij  n  1
rij  n  crij  n  1  s*u j n
u j  n  u
next j
e  ce  n  ski  n  1
ki  n  cki  n  1  s*e n
e  n  e ,   n  c  n
next i
e  n
  n  e  n  n sau e  n 
  n
 10.4 Algoritmi RLS cu factorizare QR 323

Figura 10.4 Implementarea printr-o reţea de calcul sistolic a algo-

ritmului QR-RLS şi descrierea funcţională a elemente-
lor sale componente.
Este evident că reţeaua de procesare din Figura 10.4 realizează două funcţii distincte: pe
de o parte în reţea sunt propagate matricea R  n şi vectorul k  n care definesc procesorul
LS în reţea iar, pe de altă parte ea realizează, într-un mod nu foarte evident, operaţia de
filtrare, furnizând la ieşire eroarea e  n  sau   n . Figura 10.4 furnizează o descriere
funcţională numai a elementelor de prelucrare numerică a reţelei. În practică, există imple-
mentări diverse ale algoritmilor LS care utilizează reţele sistolice, reţele de undă sau proce-
soare CORDIC. Structura sistolică a fost propusă în 1983 de McWhirter (Haykin 1996,
McWhirter şi Proudler 1993).

10.4.7 Implementarea algoritmului QR-RLS invers

prin utilizarea rotaţiilor Givens
Punctul de pornire a implementării este ecuaţia de factorizare QR (10.114) din paragraful
10.4.5. Aici, definim vectorul
324 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

1
w  n  R  H  n  1 u  n (10.122)

1
şi scalarul ˆ 2  n  1  w H  n w  n (10.123)
  n
pentru a rescrie ecuaţia (10.114) astfel
 1 H 
 w  n R  n  1 0 R  H  n
Q  n  
   n g H  n 
(10.124)

1 0H   

unde g  n este vectorul de câştig normalizat (10.107). Matricea Q  n este aleasă ca o

secvenţă de matrici de rotaţie G i   n definite prin (10.120).
Vom arăta pentru început că parametrii unghiulari ci  n şi si  n ai lui G i   n pot fi
determinaţi utilizând numai elementele vectorului w  n . În acest scop, se aleg astfel
parametrii unghiulari ai matricii de rotaţie G 1  n încât să se anuleze primul element
w1  n din ecuaţia
 w1  n   0 
  w n 
 w2  n    2   
G  n 
1   (10.125)
   
 wM  n   wM  n 
1  ˆ1  n  
   
Trebuie remarcat că, datorită structurii lui G 1  n , restul elementelor vectorului w  n nu
sunt afectate de această rotaţie. După cum s-a arătat în Capitolele 3 şi 9, o transformare
unitară nu modifică norma euclideană a unui vector, astfel că:
ˆ12  n  1  w1  n
2

exprimă pe ˆ1  n în funcţie de w1  n . Pentru a calcula parametrii rotaţiei se utilizează

prima şi ultima ecuaţie din relaţia (10.125):
c1  n w1  n  s1*  n   0
 s1  n w1  n  c1  n   ˆ1  n 

1 w1*  n
Soluţia sistemului: c1  n  , s1  n  
ˆ1  n ˆ1  n
 10.4 Algoritmi RLS cu factorizare QR 325

furnizează parametrii primei matrici de rotaţie G 1  n . Similar, poate fi determinată rotaţia
G  2  n care urmăreşte să anuleze elementul w2  n al vectorului din membrul drept al
ecuaţiei (10.125). Parametrii rotaţiei sunt acum
1 w2*  n
c2  n  , s2  n  
ˆ 2  n ˆ 2  n

ˆ 22  n  1  w1  n  w2  n  ˆ12  n  w2  n
2 2 2
unde
reprezintă formula de calcul recursiv al lui ˆi  n . Restul elementelor vectorului w  n se
pot anula, dacă se continuă similar procedura descrisă. În general, pentru i  1,2, , M se
calculează:


ˆi  n  ˆi21  wi  n  
2 12
, ˆ 0  n  1
ˆi 1  n  wi*  n 
(10.126)
ci  n   , si  n   
ˆi  n ˆi  n 
şi ˆ  n  ˆ M  n .

Vom nota elementele matricii R  H  n prin pij  n iar prin g j   n elementele vecto-
i

rului g H  n după rotaţia i. Prima rotaţie actualizează primul element al matricii

R  H  n  1  şi modifică primul element al lui g H  n . În consecinţă, din

 1 H   p11  n  0 0
R  n  1  
G 1  n   
   (10.127)
 H
0   g11  n  0 
0

1
se obţine p11  n  c1  n p11  n  1

1
g11  n   s1  n p11  n  1

Multiplicarea lui (10.127) cu G  2  n actualizează cea de a doua linie a matricii
R  H  n  1  şi modifică primele două elemente ale lui g H  n . În general, rotaţia i
actualizează linia i a lui R  H  n  1  şi modifică primele i elemente ale lui g H  n
conform formulelor:
1
pij  n  ci  n pij  n  1  si*  n  g ji 1 n  (10.128)

326 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10
Tabelul 10.5 Algoritmul QR-RLS invers cu rotaţii Givens.

3. Iniţializare: w  1  u  1  0, pij  1   1

4. Recursie temporală: n = 0,1,....
e  n   d  n   w H  n  1 u  n 
g ji   n   0, 1  j  M , i  j
ˆ 0  n  1
For i  1,2, , M
i
1
wi  n    p  n  1u  n

ij i
j 1


ˆi  n   ˆi21  wi  n  
2 12

ˆi 1  n  w*  n 
ci  n   , si  n    i
ˆi  n  ˆi  n 
For j  1,2, ,i
1
pij  n   ci  n  pij  n  1  si*  n  g ji 1  n 

1
g ji   n   ci  n  g ji 1  n   si  n  pij  n  1

next j
next i
e  n
e  n 
ˆ M  n
For m  1,2, ,M
wm  n  wm  n  1  g ji *  n e *  n
next m
1
g ji   n  ci  n g ji 1  n  si  n pij  n  1 (10.129)

pentru 1  i  M şi 1  j  i . Aceste recursii se iniţializează cu g j   n  0, 1  j  M şi
i

furnizează mărimile calculate după M rotaţii. Algoritmul invers QR-RLS este rezumat în
Tabelul 10.5, o implementare a sa într-o reţea de calcul sistolic fiind prezentată în Pan şi
Plemmons (1989).
 10.5 Clasificarea algoritmilor RLS 327

10.5 Clasificarea algoritmilor RLS

Dacă algoritmul RLS standard furnizează baza pentru introducerea şi evaluarea performan-
ţelor metodei adaptive LS ce se utilizează atât în filtrele adaptive FIR cât şi în combinatoare
lineare, algoritmii QR-RLS bazaţi pe rotaţii Givens constituie cea mai bună implementare a
algoritmului atât din punctul de vedere a comportării numerice cât şi a uşurinţei implemen-
tării în structuri de tip hardware. Pe lângă algoritmii prezentaţi în acest Capitol, mai sunt
mulţi alţi algoritmi care au interpretări teoretice interesante sau satisfac, în cele mai bune
condiţii, necesităţile unor aplicaţii particulare (Manolakis, ş.a. 2005). Algoritmii RLS pot fi
clasificaţi în trei categorii distincte:
1. Algoritmul RLS standard. Algoritmul calculează prin recursie inversa matricii de
corelaţie P  n  Rˆ 1  n , după care se calculează vectorul de câştig prin înmulţirea
unei matrici cu un vector. Algoritmul nu permite recursia după ordinul filtrului
adaptiv, acesta fiind fix.
2. Algoritmi de rădăcină pătrată în domeniul putere ce calculează prin recursie ori
R  n ori inversa sa P  n R 1  n , utilizând formule obţinute din descompunerea
Choleski a lui R ˆ  n sau a inversei acesteia P  n . Din această categorie pot fi
separate două tipuri distincte:
a. Algoritmi ce calculează prin recursie R  n , k  n (abordare cu filtrare de
informaţie) sau R n, k n (abordare
1
cu filtrare de covarianţă4) şi
furnizează numai erorile apriori sau aposteriori.
b. Algoritmi ce calculează prin recursie R  n şi calculează pe g  n prin
rezolvarea ecuaţiei (10.82) sau fac recursia lui R 1  n şi calculează pe
g  n prin înmulţirea unei matrici cu un vector. Ambii algoritmi calculează
vectorul coeficienţilor w  n şi erorile e  n şi   n .
3. Algoritmi de rădăcină pătrată în domeniul amplitudine ce calculează prin recursie
ori matricea R  n (algoritmul QR-RLS) sau inversa sa P  n R 1  n (algoritmul
QR-RLS invers) prin acţiune directă asupra matricii de date Λ  n  A  n d  n .
În ambele cazuri, pot fi dezvoltaţi algoritmi care să furnizeze numai erorile
e  n şi   n sau atât erorile cât şi vectorul coeficienţilor w  n .
Algoritmii care calculează recursiv factorul Choleski R  n evită problemele provocate
ˆ  n şi au proprietăţi numerice mai
de pierderea simetriei care apar în cazul recursiei lui R
bune pentru că numărul de condiţionare a lui R  n este egal cu rădăcina pătrată a număru-

4
Termenii algoritmi cu filtrare de informaţie sau covarianţă sunt utilizaţi în contextul teoriei
filtrului Kalman (Kailath 1981). Vezi şi Capitolul 11.
328 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

ˆ  n . În această carte am prezentat algoritmii RLS bazaţi pe

lui de condiţionare a matricii R
descompunerea QR prin rotaţii Givens ale setului de date Λ  n  A  n d  n pentru că
această factorizare are proprietăţi numerice superioare în raport cu celelalte metode de facto-
rizare Cholesky. În literatură se cunosc alţi algoritmi RLS ce se bazează pe descompunerea
QR prin transformări MGS sau Householder (Ling, ş.a. 1986, Liu, ş.a. 1992) dar aceştia nu
sunt utilizaţi pe scară largă.
O idee general acceptată este că descompunerea QR conduce la cele mai bune metode
de rezolvare a problemei celor mai mici pătrate (Golub şi Van_Loan 1996). S-a arătat prin
simulare că algoritmul QR-RLS cu rotaţii Givens este stabil numeric pentru   1 şi diverge
pentru   1 (Haykin 1996). Acest algoritm este ideal pentru aplicaţiile care necesită doar
erorile apriori sau aposteriori. Dacă sunt necesari şi coeficienţii filtrului adaptiv, o posibilă
soluţie ar putea fi reprezentată de algoritmul QR-RLS extins. Acesta calculează prin recursie
simultan atât pe R  n cât şi pe R  H  n independent unul de celălalt, ceea ce face ca în
implementările de precizie finită valorile calculate ale lui R  n şi R  H  n să devieze una
faţă de inversa hermitică a celeilalte. Urmarea acestei inconsistenţe numerice este că algorit-
mul devine numeric instabil (Haykin 1996). Pentru a evita această problemă, se poate face
apel sau la algoritmul QR-RLS cu substituţie în ordine inversă sau algoritmul QR-RLS
invers (Pan şi Plemmons 1989). Recursia lui w  n cu acest din urmă algoritm poate fi
implementată într-o reţea sistolică fără să întrerupă procesul de adaptare.
Dacă se face factorizarea elementelor diagonale ale matricii R  n obţinută prin
descompunere QR, aceasta se poate exprima astfel
R  n  D1 2  n R1  n (10.130)
unde R1  n este o matrice superior triunghiulară cu elemente diagonale unitare, iar
D n diag  r112  n , r222  n , 2
, rMM  n  (10.131)

este o matrice diagonală cu elemente pozitive. Se poate vedea uşor că R1H  n şi D n

constituie factorii descompunerii LDLH descrisă prin (10.71). Rezultă că ecuaţia (10.130)
constituie o bază pentru diverşi algoritmi RLS bazaţi pe factorizarea QR care nu necesită
operaţii de rădăcină pătrată. Într-o manieră similară, factorizarea LDLH face posibilă triun-
ghiularizarea lui R  n fără extragerea rădăcinii pătrate. Totuşi, algoritmii care utilizează
factorizarea LDLH au proprietăţi numerice inferioare în raport cu algoritmii de rădăcină
pătrată echivalenţi şi sunt mult mai predispuşi la probleme de depăşire a capacităţii de repre-
zentare numerică, astfel încât sunt mai puţin utilizaţi decât algoritmii de rădăcină pătrată. Cu
toate acestea, algoritmii RLS fără extragere de rădăcină pătrată sunt foarte interesanţi din
punct de vedere a implementărilor VLSI (Hsieh, ş.a. 1993). O abordare unificată a diverşilor
algoritmi RLS utilizând o formulare în spaţiul stărilor şi corespondenţa lor cu algoritmii de
filtrare Kalman asociaţi se dă în Sayed şi Kailath (1998) şi în Haykin (1996).
 SOLUŢII RECURSIVE ALE PROBLEMEI LS Probleme 329

Toţi algoritmii la care ne-am referit înainte sunt aplicabili, indiferent de tipul vectorilor
de intrare şi necesită un număr de O  M 2  operaţii aritmetice pentru fiecare recursie de
timp. Totuşi, dacă vectorul de date de intrare are o structură invariantă la deplasarea în timp,
toţi algoritmii conduc la versiuni simplificate care execută un număr de O  M  operaţii arit-
metice pe recursie. Aceşti algoritmi care pot fi utilizaţi în aplicaţii de filtrare şi predicţie LS
sunt discutaţi în Capitolul 12.

Probleme
P 10.1 Verificaţi valabilitatea lemei de inversare matricială.
P 10.2 Consideraţi că matricea de corelaţie R ˆ  n este definită prin ecuaţia

ˆ  n   I  u  n u H  n
R
unde u  n este vectorul de date de intrare iar  este o constantă pozitivă de
valoare mică. Să se calculeze P  n  R ˆ 1  n , utilizând lema de inversare
matricială.
P 10.3 Să considerăm definiţia (10.10) a erorii de estimare apriori:
e  n  d  n  w H  n  1u  n
unde d  n este răspunsul dorit, u  n este vectorul de date iar w  n  1 este
vechea estimare a vectorului coeficienţilor. Pe de altă parte, eroarea de estimare
aposteriori este definită de (10.15):
  n  d  n  w H  n u  n 
unde w  n este estimarea curentă a vectorului coeficienţilor. Pentru semnale de
intrare având valori numere complexe, atât e  n  cât şi   n au valori numere
complexe. În aceste condiţii, demonstraţi că produsul e  n *  n este întotdeauna
un număr real.
P 10.4 Demonstraţi ecuaţia (10.24) utilizând identitatea
det  I1  AB   det  I 2  BA 
unde matricile unitate I1 şi I 2 şi matricile A şi B au dimensiuni compatibile.
Pentru demonstraţie se pune ecuaţia (10.7) sub forma I1  AB .
P 10.5 Consideraţi problema de identificare de sistem în care sunt disponibile semnalul de
intrare u  n şi ieşirea sistemului necunoscut afectată de zgomot
d  n  do  n  v n pentru 0  n  N  1 . Funcţia de transfer a sistemului
necunoscut este
330 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10

0,0675  0,1349 z 1  0,0675 z 2

Ho  z  
1  1,1430 z 1  0,4128 z 2
unde u  n şi v  n sunt semnale necorelate de zgomot alb de medie nulă şi
varianţe  u2  1 respectiv  v2  0,01 iar N  300 .
(a) Modelaţi sistemul necunoscut utilizând un filtru LS cu M  15 coeficienţi, prin
metoda „no windowing”. Calculaţi energia minimă de eroare LS ELS pe intervalul
n0  n  N  1 pentru n0  20 .
(b) Repetaţi punctul (a) pentru 0  n  n0  1 , fără a calcula ELS . Utilizaţi vectorul
w  n  şi matricea P  n   R
0 0
ˆ 1  n  pentru a iniţializa algoritmul RLS standard.
0

Calculaţi erorile totale Eapr   n n e2  n şi Eapost    2  n , rulând

N 1 N 1

0 n  n0

algoritmul RLS pentru n0  n  N  1 .

(c) Ordonaţi după mărime cantităţile ELS , Eapr , E post şi justificaţi rezultatul obţinut.
P 10.6 Deduceţi ecuaţiile normale ce corespund minimizării funcţiei de cost (10.37) şi
arătaţi că pentru   0 acestea se reduc la setul standard de ecuaţii normale
(10.2). Pentru situaţia descrisă în problema P 10.5, rulaţi algoritmul RLS standard
pentru diferite valori ale lui  şi determină gama de valori care asigură
performanţe acceptabile.
P 10.7 Modificaţi algoritmul RLS standard din Tabelul 10.2 astfel încât filtrul adaptiv să
aibă coeficienţi simetrici, adică să satisfacă constrângerea de fază lineară
w  n  Jw*  n , unde
0 0 1
 
J , J H J  JJ H  I
0 1 0
 
1 0 0
este aşa-numita matrice de schimb. Pentru simplificare, vom presupune că
M  2L ; cu alte cuvinte, filtrul are un număr par de coeficienţi.
 11
Capitolul

11 Filtrul Kalman
cest capitol completează studiul filtrelor optimale lineare prin trecerea în revistă a

A fundamentelor filtrării Kalman. O caracteristică deosebită a unui filtru Kalman este

faptul că pentru descrierea sa matematică se utilizează conceptul de spaţiu al
stărilor. O altă trăsătură care deosebeşte filtrul Kalman de filtrul optimal linear este faptul că
soluţia sa se calculează recursiv. În particular, fiecare nouă estimare a stării se calculează pe
baza estimării anterioare şi a noii valori a mărimii de intrare, astfel încât numai ultima esti-
mare trebuie memorată. Pe lângă faptul că elimină necesitatea de a memora toate datele de
intrare anterioare, un filtru Kalman este mai eficient din punctul de vedere a efortului de
calcul decât algoritmii care realizează la fiecare recursie estimarea direct din toate datele
observate anterior. Aceste caracteristici reduc volumul de calcul necesar implementării
filtrului Kalman pe un calculator electronic. În consecinţă, filtrele Kalman au fost imple-
mentate cu succes în multe aplicaţii practice, în particular în industria aeronautică şi spaţială.
Atenţia pe care o acordăm filtrelor Kalman se justifică prin aceea că ele oferă un cadru
unitar pentru fundamentarea matematică a filtrelor adaptive ce se bazează pe algoritmii de
calcul recursiv RLS, aşa cum vom demonstra în ultimul paragraf al Capitolului. În ceea ce
priveşte reprezentarea prin spaţiul stărilor, pe lângă numeroase aspecte favorabile care vor fi
evidenţiate în continuare, aceasta se bucură de avantajele utilizării metodelor algebrei lineare
ceea ce permite punerea în evidenţă a unor proprietăţi remarcabile.

11.1 Ecuaţii de stare pentru sisteme

lineare în timp discret
Se consideră un sistem dinamic linear în timp discret descris de graful de semnal din Figura
11.1. Reprezentarea sistemului în domeniul timp utilizată aici oferă următoarele avantaje
(Haykin 1996):
 este convenabilă din punct de vedere matematic şi a notaţiilor utilizate,
 are o puternică legătură cu realitatea fizică,
 constituie o bază utilă pentru evidenţierea comportării statistice a sistemului.
332 FILTRUL KALMAN - 11

Figura 11.1 Reprezentarea prin graf de semnal a unui sistem în timp discret linear şi
dinamic
Noţiunea de stare joacă un rol esenţial în această reprezentare. Vectorul de stare de dimen-
siune M 1 desemnat prin x  n în Figura 11.1 se defineşte ca orice ansamblu de mărimi
suficiente pentru a descrie comportarea dinamică neforţată a sistemului la momente de timp
n  i  n . Cu alte cuvinte, starea unui sistem reprezintă un rezumat de informaţii suficiente
ce permit descrierea evoluţiei sistemului. Vectorul de stare x  n nu este în mod necesar
direct accesibil pentru a fi măsurat, astfel încât pentru a fi evaluat se utilizează un set de date
observabile, descrise în Figura 11.1 prin vectorul y  n de dimensiune N 1 .
În termeni matematici, graful de semnal din Figura 11.1 încorporează următoarea pereche de
ecuaţii:
1. O ecuaţie de proces
x  n  1  F  n  1, n x  n  v1  n (11.1)
unde F  n  1, n este o matrice de tranziţie a stărilor de dimensiune M  M ce este
cunoscută şi care exprimă legătura dintre stările sistemului la momentele n  1 şi
n . Vectorul v1  n de dimensiune M 1 reprezintă semnalul de intrare al procesu-
lui. De obicei, în cazul abordării statistice a modelării sistemului, el este zgomotul
de proces, un proces de zgomot alb cu media nulă, şi are matricea de corelaţie
Q  n , n  k
E  v1  n v1H  k    1 (11.2)
0, nk
2. O ecuaţie de măsurare, ce descrie vectorul de observaţie prin relaţia:
y  n   C n  x  n   v 2  n  (11.3)
unde C n este o matrice de măsurare de dimensiune N  M cunoscută. Vectorul
v 2  n de dimensiune N 1 este denumit zgomot de măsurare. Este, de obicei,
modelat printr-un proces de zgomot alb ce are matricea de corelaţie
Q  n , n  k
E  v 2  n v 2H  k    2 (11.4)
0, nk
 11.2 Procesul de inovaţii 333

Se presupune că valoarea stării iniţiale, x  0 , este necorelată atât cu v1  n cât şi

cu v 2  n pentru n  0 . Vectorii de zgomot v1  n şi v 2  n sunt statistic indepen-
denţi, astfel că se poate scrie
E  v1  n v 2H  k   0, n, k (11.5)
Problema filtrării Kalman poate fi acum formulată după cum urmează: Să se utilizeze
toate datele observate, ce constau din vectorii y 1, y  2, , y  n, pentru a stabili pentru
fiecare moment n  1 estimarea de medie pătratică minimă a componentelor stării x i  . Ea
este denumită problemă de filtrare dacă i  n , problemă de predicţie dacă i  n şi, în
sfârşit, problemă de mediere dacă 1  i  n . În continuare ne vom concentra asupra
problemelor de filtrare şi predicţie care sunt strâns legate, făcând apel la o abordare bazată
pe procesul de inovaţii (Kailath 1968, Tretter 1976).

11.2 Procesul de inovaţii

11.2.1 Definirea procesului de inovaţii
Desemnăm prin vectorul yˆ  n Yn 1  estimarea de medie pătratică minimă a datelor obser-
vate y  n la momentul n . Estimarea se face pe baza tuturor valorilor anterioare ale datelor
de observaţie, începând cu momentul n  1 şi până la, inclusiv momentul n  1 . Aceste
valori anterioare sunt reprezentate prin vectorii y 1, y  2, , y  n, care subîntind spaţiul
vectorial Yn1 . Se defineşte procesul de inovaţii asociat vectorului de observaţie y  n prin:
α  n  y  n  yˆ n Yn1  , n  1,2, (11.6)
Vectorul α  n de dimensiune N 1 reprezintă informaţia nouă din datele observate y  n .
Pe baza caracteristicilor generale ale semnalului de eroare în cazul filtrului optimal, se
demonstrează (Haykin 1996, Manolakis, ş.a. 2005) că procesul de inovaţii are următoarele
proprietăţi:
1. Procesul de inovaţii α  n asociat vectorului de date observate y  n la momentul
n, este ortogonal pe toate observaţiile anterioare, după cum evidenţiază ecuaţia de
mai jos:
E α  n y H  k   0, 1  k  n  1 (11.7)
2. Procesul de inovaţii este alcătuit dintr-o secvenţă de vectori variabile aleatoare,
ortogonali unul pe celălalt, fapt evidenţiat prin:
E α  n α H  k   0, 1  k  n  1 (11.8)
334 FILTRUL KALMAN - 11

3. Există o corespondenţă biunivocă între secvenţa de vectori variabile aleatoare ce

reprezintă datele observate, y 1, y  2, , y  n şi secvenţa de vectori variabile
aleatoare α 1 , α  2 , , α  n care reprezintă procesul de inovaţii, în sensul că o
secvenţă poate fi obţinută din cealaltă prin intermediul unor operatori lineari stabili
fără pierdere de informaţie. Această ultimă afirmaţie este descrisă matematic prin:
y 1, y 2, , y  n α 1, α 2, , α  n (11.9)
Pentru a forma secvenţa de vectori variabile aleatoare ce defineşte procesul de inovaţii, se
pot utiliza tehnici specifice calculului matricial, de exemplu o tehnică similară procedurii de
ortogonalizare Gram-Schmidt descrisă în Capitolul 9.

11.2.2 Matricea de corelaţie a procesului de inovaţii

Pentru a determina matricea de corelaţie a procesului de inovaţii α  n , se începe prin a
rezolva recursiv ecuaţia de stare (11.1), ceea ce conduce la relaţia
k 1
x  k   F  k ,0 x 0   F  k , i  1 v1 i  (11.10)
i 1

Pentru deducerea relaţiei (11.10) s-au utilizat următoarele presupuneri şi proprietăţi:

1. Valoarea iniţială a vectorului de stare este x  0 .
2. Se presupune că datele observate, şi prin urmare vectorul de zgomot de stare v1  n
sunt nule pentru n  0 .
3. Matricea de tranziţie a stărilor are proprietăţile
F  k , k  1 F  k  1, k  2 F i  1, i   F k , i 
şi: F k , k   I
unde I este matricea unitate. De observat că pentru un sistem invariant în timp se
scrie
F  n  1, n  F  n  1  n  F 1  constant
Ecuaţia (11.10) arată faptul că x  k  este o combinaţie lineară de x  0 şi v1 1 , v1  2 , ,
v1  k  1 .
Prin ipoteză, vectorul zgomotului de măsurare v 2  n este necorelat atât cu vectorul de
stare iniţial x  0 cât şi cu vectorul de zgomot al procesului v1  n . În consecinţă, multipli-
când ambii termeni ai ecuaţiei (11.10) cu v 2H  n şi mediind statistic, se deduce că:
E x  k  v 2H  n  0, k , n  0 (11.11)
Corespunzător, din ecuaţia de măsurare se poate deduce:
 11.2 Procesul de inovaţii 335

E y  k  v 2H  n  0, 0  k  n  1 (11.12)

Mai mult, se poate scrie
E y  k  v1H  n  0, 0  k  n (11.13)

Fiind date observaţiile anterioare y 1 , y  2, , y  n  1 ce definesc spaţiul vectorial

Yn1 , putem de asemenea evidenţia din ecuaţia de măsurare (11.3) faptul că estimarea de
medie pătratică minimă a valorii curente a vectorului de observare y  n este dată de:
yˆ n Yn1   C n xˆ n Yn1   vˆ 2 n Yn1 

Totuşi, estimarea vˆ 2  n Yn 1  a vectorului de zgomot de măsurare este nulă, întrucât v 2  n

este ortogonal pe observaţiile anterioare y 1 , y  2, , y  n  1 : vezi ecuaţia (11.12). În
consecinţă, se scrie pur şi simplu
yˆ n Yn1   C n xˆ n Yn1  (11.14)
Prin urmare, utilizând ecuaţiile (11.6) şi (11.14), putem exprima procesul de inovaţii sub
forma
α  n  y  n  C n xˆ n Yn1  (11.15)

Înlocuind ecuaţia de măsurare, se obţine:

α  n  C n є n, n  1  v 2  n (11.16)
unde є n, n  1 este vectorul de eroare a predicţiei de stare la momentul n , pe baza
datelor disponibile până la momentul n  1 . Prin urmare, є n, n  1 este diferenţa dintre
vectorul de stare x  n şi vectorul de predicţie înainte cu un pas xˆ  n Yn 1  :

є n, n  1  x  n  xˆ n Yn1  (11.17)

Se poate arăta (Haykin 1996) că vectorul de predicţie a erorii de stare este ortogonal atât pe
vectorul de zgomot de proces v1  n cât şi pe vectorul de zgomot de măsurare v 2  n .
Matricea de corelaţie a procesului de inovaţii α  n se defineşte prin
R  n  E α  n α H  n (11.18)
Înlocuim în continuare ecuaţia (11.16) în (11.18), dezvoltăm expresia obţinută şi, având în
vedere faptul că vectorii є n, n  1 şi v 2 n  sunt ortogonali se obţine rezultatul:
R  n  C n K  n, n  1CH  n  Q2  n (11.19)
336 FILTRUL KALMAN - 11

unde Q2  n este matricea de corelaţie a vectorului de zgomot v 2  n . Matricea K  n, n  1

de dimensiune M  M poartă numele de matrice de corelaţie a erorii făcute prin predicţia
de stare , xˆ  n Yn 1  , fiind definită de

K  n, n  1  E є n, n  1 єH n, n  1 (11.20)

unde є n, n  1 este vectorul de eroare a predicţiei de stare. Matricea K  n, n  1 se folo-

seşte pentru descrierea statistică a erorii care este făcută atunci când se utilizează estimarea
de stare xˆ  n Yn 1  în locul „adevăratei” valori a acesteia x  n .

11.3 Estimarea predicţiei de stare în

filtrarea Kalman
11.3.1 Calculul recursiv al estimării de stare
În continuare vom lua în considerare problema determinării estimării de medie pătratică
minimă a stării x i  pe baza procesului de inovaţii. În Haykin (1996) şi Manolakis, ş.a.
(2005) se demonstrează faptul că această estimare poate fi exprimată ca o combinaţie lineară
a secvenţei de procese de inovaţii α 1 , α  2, , α  n :
n
xˆ i Yn    Bi  k  α  k  (11.21)
k 1

unde Bi  k  , k  1,2, , n , este un set de matrici de dimensiune M  N ce urmează a fi

determinate. În conformitate cu principiul ortogonalităţii, vectorul de eroare a predicţiei de
stare este ortogonal pe procesul de inovaţii, aşa cum exprimă ecuaţia care urmează
 
E єi, n α H  m  E  x i   xˆ i Yn  α H  m  0, m  1,2, , n

(11.22)
Înlocuind ecuaţia (11.21) în (11.22) şi apelând la principiul ortogonalităţii pentru procesul de
inovaţii, în particular la ecuaţia (11.8), se obţine
E x i  α H  m  Bi  m E α  m α H  m  Bi  m R  m (11.23)
În consecinţă, înmulţind la dreapta ambii membri ai ecuaţiei (11.23) cu matricea inversă
R 1  m , găsim pentru matricea Bi  m expresia

Bi  m  E x i  α H  m R 1  m (11.24)

În final, prin înlocuirea ecuaţiei (11.24) în (11.21) se obţine estimarea de medie pătratică
minimă
 11.3 Estimarea predicţiei de stare în filtrarea Kalman 337

n
xˆ i Yn    E  x i  α H  k  R 1  k  α  k 
k 1
n 1
  E  x i  α H  k  R 1  k  α  k   E  x i  α H  n  R 1  n  α  n 
k 1

Vom particulariza relaţia pentru i  n  1 :

n 1
xˆ  n  1 Yn    E  x  n  1 α H  k  R 1  k  α  k 
k 1 (11.25)
 E  x  n  1 α H
 n R  nα n
1

În ceea ce priveşte starea x  n  1 de la momentul n  1 , ea este legată de starea x  n de la

momentul n prin ecuaţia de proces (11.1). Drept urmare, utilizând această relaţie, putem
scrie pentru 0  k  n :
E  x  n  1 α H  k   E  F  n  1, n x  n   v 2  n  α H  k 
(11.26)
 F  n  1, n E  x  n α H  k 

În ultima relaţie s-a folosit faptul că α  k  depinde numai de datele observate y 1 , y  2 ,
, y  k  , şi prin urmare din ecuaţia (11.13) se observă că y  n şi α  k  sunt ortogonali
pentru 0  k  n . Putem atunci rescrie suma din membrul drept al ecuaţiei (11.25) după
cum urmează:
n 1 n 1

 E x  n  1 α k  R  k  α k   F n  1, n  E x n α k  R k  α k 

k 1
H 1

k 1
H 1

(11.27)
 F  n  1, n xˆ  n Yn 1 
Vom introduce în continuare câteva definiţii fundamentale, necesare pentru formularea
problemei filtrării Kalman.

11.3.2 Matricea de câştig Kalman

Se introduce matricea G  n de dimensiune M  N , definită prin:
G  n  E x  n  1 α H  n R 1  n (11.28)
Utilizăm în continuare această definiţie şi rezultatul ecuaţiei (11.27), pentru a rescrie ecuaţia
(11.25) astfel:
xˆ n  1 Yn   F  n  1, n xˆ n Yn1   G n α n (11.29)
Ecuaţia (11.29) are o importanţă fundamentală, pentru că reprezintă formula de calcul
recursiv utilizată în cazul filtrului adaptiv Kalman. Ea evidenţiază faptul că estimarea de
medie pătratică minimă xˆ  n  1 Yn  a stării unui sistem dinamic linear, poate fi calculată
prin adăugarea la estimarea stării anterioare a sistemului xˆ  n Yn 1  multiplicată cu matricea
338 FILTRUL KALMAN - 11

de tranziţie a stării F  n  1, n , a unui termen de corecţie egal cu G  n α  n . Termenul de

corecţie este egal cu vectorul procesului de inovaţii α  n premultiplicat cu matricea G  n .
Drept urmare, şi în semn de recunoaştere a meritelor de pionierat ale lui Kalman, matricea
G  n este numită matricea de câştig a lui Kalman.
Rămâne problema exprimării matricii de câştig a lui Kalman G  n într-o formă conve-
nabilă calculului. Pentru a ajunge la rezultat, vom face apel la ecuaţiile (11.16) şi (11.26)
pentru a exprima media produsului lui x  n  1 cu α H  n după cum urmează:

E  x  n  1 α H  k   F  n  1, n  E  x  n  α H  k 

 F  n  1, n  E  x  n   C  n  є  n, n  1  v 2  n  
H
(11.30)
 
 F  n  1, n  E  x  n  є H  n, n  1 CH  n 

unde s-a utilizat constatarea că starea x  n şi vectorul de zgomot v 2  n sunt necorelate

(vezi ecuaţia (11.11)). Mai mult, în conformitate cu principiul ortogonalităţii, să notăm că
vectorul de predicţie a erorii de stare єH  n, n  1 este ortogonal pe estimarea xˆ  n Yn 1  .
Prin urmare, media statistică a produsului xˆ n Yn1  єH  n, n  1 este nulă, astfel încât
putem rescrie ecuaţia (11.30) înlocuind pe x  n din membrul drept al ecuaţiei prin vectorul
de predicţie a erorii de stare є n, n  1 , ca mai jos:
E x  n  1 α H  k   F  n  1, n E є n, n  1 єH  n, n  1 CH  n (11.31)
Facem apel în continuare la ecuaţia (11.20) pentru a evidenţia faptul că media statistică din
membrul drept al ecuaţiei (11.31) este egală cu matricea de corelaţie a erorii de predicţie a
stării. Drept urmare, ecuaţia (11.31) se rescrie astfel:
E x  n  1 α H  k   F  n  1, n K  n, n  1 CH  n (11.32)
Acum, poate fi redefinită matricea de câştig a lui Kalman. În particular, înlocuim relaţia
(11.32) în (11.28) pentru a obţine
G  n  F  n  1, n K  n, n  1CH  n R 1  n (11.33)
unde matricea de corelaţie R  n este ea însăşi definită prin ecuaţia (11.19).
Schema bloc din Figura 11.2 ilustrează graful de semnal al ecuaţiei (11.33) ce calculea-
ză matricea de câştig Kalman G  n . Odată calculată matricea de câştig Kalman G  n , se
poate utiliza ecuaţia (11.29) pentru a face noua predicţie xˆ  n  1 Yn  . Cu alte cuvinte, fiind
dată vechea predicţie xˆ  n Yn 1  , se calculează predicţia curentă xˆ  n  1 Yn  , proces
ilustrat prin graful de semnal din Figura 11.3. În această figură, s-a utilizat de asemenea
ecuaţia (11.15) pentru determinarea vectorului procesului de inovaţii α  n .
 11.3 Estimarea predicţiei de stare în filtrarea Kalman 339

Figura 11.2 Diagrama de calcul a matricii de câştig Kalman.

11.3.3 Ecuaţia Ricatti

Ecuaţia de calcul al matricii de câştig Kalman (11.33) aşa cum este acum formulată, nu este
utilă, întrucât pentru determinarea lui G  n este nevoie de cunoaşterea valorii matricii de
corelaţie a erorii de predicţie a stării K  n, n  1 . Pentru a depăşi această dificultate, vom
deduce în continuare o formulă de calcul recursiv pentru matricea K  n, n  1 .
Vectorul de eroare a predicţiei de stare є n  1, n este egal cu diferenţa dintre vectorul
de stare x  n  1 şi predicţia înainte într-un pas a acestuia xˆ  n  1 Yn  (vezi ecuaţia
(11.17):
є n  1, n  x  n  1  xˆ n  1 Yn  (11.34)
Înlocuind ecuaţiile (11.1) şi (11.29) în (11.34), şi utilizând pentru vectorul procesului de
inovaţii α  n ecuaţia (11.15), obţinem:


є  n  1, n  F  n  1, n x  n   xˆ  n Yn 1  
(11.35)

G  n y  n  C n  xˆ  n Yn 1    v  n 
1

În continuare, folosim ecuaţia (11.3) pentru a elimina vectorul y  n din ecuaţia (11.35). Se
obţine ecuaţia cu diferenţe finite de mai jos, care se utilizează la calculul recursiv al vectoru-
lui de predicţie al erorii de stare:
є n  1, n   F  n  1, n  G  nC n є n, n  1  v1  n  G  n v 2  n (11.36)

Figura 11.3 Predictorul Kalman înainte într-un pas.

340 FILTRUL KALMAN - 11

Matricea de corelaţie a vectorului de predicţie a erorii de stare є n  1, n este dată în

conformitate cu ecuaţia (11.20) de relaţia:
K  n  1, n  E є n  1, n єH  n  1, n (11.37)

Înlocuind ecuaţia (11.36) în (11.37), şi acceptând ipoteza că vectorul de eroare є n, n  1 şi

vectorii de zgomot v1  n şi v 2  n sunt mutual necorelaţi, putem exprima matricea de
corelaţie a vectorului de predicţie a erorii de stare după cum urmează:
K  n  1, n   F  n  1, n  G  n C  n K  n, n  1  F  n  1, n  G  n  C  n 
H

(11.38)
Q1  n  G  n Q2  n G H  n
unde Q1  n şi Q2  n sunt matricile de corelaţie ale lui v1  n respectiv v 2  n . Dezvol-
tăm, în continuare, membrul drept al ecuaţiei (11.38) şi apoi utilizăm ecuaţiile (11.33) şi
(11.16) pentru matricea de câştig Kalman. Se obţine ecuaţia cu diferenţe finite Riccati ce
permite calculul recursiv al matricii de corelaţie a predicţiei erorii de stare:
K  n  1, n  F  n  1, n K  n F H  n  1, n  Q1  n (11.39)
unde matricea pătrată K  n de dimensiune M  M este definită prin ecuaţia de recursie:
K  n  K  n, n  1  F  n, n  1 G  n  C  n K  n, n  1
(11.40)
  I  F  n, n  1 G  n C  n K  n, n  1

S-a utilizat aici proprietatea: F  n  1, n F  n, n  1  I (11.41)

unde I este matricea uniitate. Această proprietate este o consecinţă a definiţiei matricii de
tranziţie. Semnificaţia matematică a matricii K  n din ecuaţia (11.40) va fi lămurită în
paragraful următor.
Figura 11.4 este reprezentarea prin graf de semnal al ecuaţiilor (11.40) şi (11.39),
reprezentare făcută chiar în această ordine. Acest graf poate fi văzut ca o reprezentare a

Figura 11.4 Graful de semnal al rezolvării ecuaţiei Riccati (Calculatorul

ecuaţiei Riccati)
 11.4 Estimarea de stare prin filtrare 341

calculatorului ecuaţiei Riccati, prin aceea că fiind dată vechea valoare K  n, n  1 , el calcu-
lează valoarea curentă K  n  1, n .
Ecuaţiile (11.33), (11.19), (11.15), (11.29), (11.40) şi (11.39), în ordinea enunţată,
definesc algoritmul Kalman de predicţie înainte într-un pas.

11.4 Estimarea de stare prin filtrare

Vom considera, în continuare, operaţia de estimare a stării sistemului prin filtrare. În
particular, dorim să calculăm estimarea filtrată xˆ  n Yn  pornind de la algoritmul de
predicţie într-un pas descris în paragraful precedent.
Să notăm, pentru început faptul că vectorul de stare x  n şi vectorul de zgomot v1  n
sunt independenţi unul faţă de celălalt. Prin urmare, stabilim din ecuaţia de stare (11.1) că
estimarea de eroare medie pătratică minimă a stării x  n  1 de la momentul de timp n  1 ,
fiind date observaţiile făcute pâna inclusiv la momentul n (adică, se cunosc y 1 , y  2 ,
, y  n ) este
xˆ n  1 Yn   F  n  1, n xˆ n Yn   v1 n Yn  (11.42)

Având în vedere că vectorul de zgomot v1  n este independent de observaţiile y 1 , y  2 ,

, y  n , rezultă că estimarea de medie pătratică minimă a zgomotului de stare v1  n Yn 
este nulă. În consecinţă, ecuaţia (11.42) se simplifică astfel:
xˆ n  1 Yn   F  n  1, n xˆ n Yn  (11.43)

Pentru a stabili estimarea filtrată xˆ  n Yn  , premultiplicăm ambii termeni ai ecuaţiei

(11.43) cu inversa matricii de tranziţie F  n  1, n :
xˆ n Yn   F1  n  1, n xˆ n  1 Yn  (11.44)
Utilizând proprietatea matricii de tranziţie a stărilor, dată în (11.41), putem scrie
F1  n  1, n  F  n, n  1 (11.45)
şi reluăm ecuaţia (11.44) în forma echivalentă:
xˆ n Yn   F  n, n  1 xˆ n  1 Yn  (11.46)
Ultima relaţie arată că, pornind de la soluţia problemei predicţiei într-un pas, care este
estimarea de medie pătratică minimă xˆ  n  1 Yn  , putem determina estimarea filtrată
corespunzătoare xˆ  n Yn  prin multiplicarea lui xˆ  n  1 Yn  cu matricea de tranziţie a
stărilor F  n, n  1 .
342 FILTRUL KALMAN - 11

11.4.1 Eroarea de estimare filtrată şi factorul de

conversie
În contextul discutării operaţiunii de filtrare, este normală introducerea unui vector de
eroare a estimării filtrate a ieşirii sistemului. El se defineşte astfel:
e  n  y  n  C n xˆ n Yn  (11.47)

Această definiţie este similară definiţiei vectorului de inovaţii α  n din (11.15), cu excepţia
faptului că estimarea stării prin filtrare xˆ  n Yn  a înlocuit estimarea stării prin predicţie
xˆ  n Yn 1  . Înlocuind relaţiile (11.29) şi (11.46) în (11.47), se obţine

e  n  y  n  C  n xˆ  n Yn 1   C  n  F  n, n  1 G  n  α  n 
 α  n  C  n F  n, n  1 G  n  α  n  (11.48)
  I  C  n F  n, n  1 G  n  α  n 
Mărimea matricială din interiorul parantezei rotunde a ecuaţiei (11.48) este numită factor de
conversie, furnizând o formulă pentru conversia vectorului de inovaţii α  n în vectorul de
eroare a estimării filtrate e  n  . Facem apel la ecuaţia (11.33) pentru a elimina matricea de
câştig Kalman G  n din această definiţie, şi îndepărtând termenii comuni, putem rescrie
relaţia (11.48) în forma echivalentă:
e  n  Q2  n R 1  n α  n (11.49)
unde Q2  n este matricea de corelaţie a procesului de zgomot de măsurare v 2  n , iar
matricea R  n se defineşte prin relaţia (11.19) ca matricea de corelaţie a procesului de
inovaţii α  n . Astfel, cu excepţia premultiplicării cu matricea Q2  n , relaţia (11.49) arată
că matricea inversă R 1  n joacă rolul unui factor de conversie în teoria filtrării Kalman.
Într-adevăr, în cazul special în care Q2  n este egală cu matricea unitate, matricea inversă
R 1  n reprezintă exact factorul de conversie care face obiectul acestui paragraf.

11.4.2 Matricea de corelaţie a erorii de filtrare a

stării
S-a introdus anterior enunţării ecuaţiei cu diferenţe Riccati (11.39), matricea K  n de
dimensiune M  M . Vom trage concluziile în discuţia despre teoria filtrării Kalman prin
demonstrarea faptului că această matrice este egală cu matricea de corelaţie a erorii cu care
se face estimarea prin filtrare a stării xˆ  n Yn  .
 11.4 Estimarea de stare prin filtrare 343

Se defineşte vectorul erorii de filtrare a stării є  n ca diferenţa dintre starea x  n şi

estimarea filtrată a acesteia xˆ  n Yn  :

є n  x  n  xˆ n Yn  (11.50)
Înlocuind ecuaţiile (11.29) şi (11.46) în (11.50) şi recunoscând faptul că produsul
F  n, n  1 F  n  1, n este egal cu matricea unitate, se obţine
є  n  x  n  xˆ  n Yn 1   F  n, n  1 G  n  α  n 
(11.51)
 є  n, n  1  F  n, n  1 G  n α  n
unde є n, n  1 este vectorul erorii de predicţie a stării la momentul de timp n pe baza
datelor existente până la momentul n  1 iar α  n este vectorul procesului de inovaţii.
Prin definiţie, matricea de corelaţie a vectorului erorii de filtrare a stării є  n este egală
cu media statistică E є n єH  n . În consecinţă, utilizând ecuaţia (11.51), se poate
exprima această medie după cum urmează:
E є  n  є H  n  E є  n, n  1 є H  n, n  1
F  n, n  1 G  n E α  n  α H  n  G H  n  F H  n, n  1 (11.52)
2 E є  n, n  1 α H  n  G H  n  F H  n, n  1
În urma examinării membrului drept al ecuaţiei (11.52) se poate stabili faptul că cele trei
medii statistice din componenţa sa pot fi interpretate individual după cum urmează:
1. Prima medie este egală cu matricea de corelaţie a erorii de predicţie a stării:
K  n, n  1  E є n, n  1 єH n, n  1
2. Media statistică din cel de al doilea termen este egală cu matricea de corelaţie a
procesului de inovaţii α  n :
R  n  E α  n α H  n
3. Media din cel de-al treilea termen poate fi exprimată după cum urmează:
 
E є n, n  1 α H  n  E  x  n  xˆ n Yn1  α H  n  E x  n α H n
 
unde, ultima expresie s-a obţinut în urma observaţiei că estimarea xˆ  n Yn 1  este
ortogonală pe procesul de inovaţii α  n , ce reprezintă intrarea filtrului Kalman. În
continuare din ecuaţia (11.26) se observă că, punând k  n şi premultiplicând apoi
ambii membri ai relaţiei cu matricea inversă F1  n  1, n  F  n, n  1 se obţine
E x  n α H  n  F  n, n  1 E x  n  1α H  n  F  n, n  1G  n R  n
344 FILTRUL KALMAN - 11

unde în ultima relaţie s-a făcut apel la ecuaţia (11.28). Prin urmare:
E є n, n  1 α H  n  F  n, n  1G  n R  n
În continuare, putem utiliza aceste relaţii în ecuaţia (11.52) pentru a obţine
E є n єH  n  K  n, n  1  F  n, n  1G  n R  nG H n F H n, n  1 (11.53)
Ultima relaţie poate fi simplificată în continuare observând din (11.33) că:
G  n R  n  F  n  1, n K  n, n  1CH n (11.54)
Drept urmare, utilizând relaţiile (11.53) şi (11.54) şi având în vedere faptul că produsul
F  n, n  1 F  n  1, n este egal cu matricea unitate, obţinem rezultatul dorit pentru matricea
de corelaţie a erorii filtrate de stare:
E є n єH  n  K  n, n  1  K  n, n  1 CH  n G H  n F H  n, n  1

Echivalent, prin utilizarea proprietăţii matricilor E є n єH  n şi K  n, n  1 de a fi

hermitice, putem scrie:
E є n єH  n  K  n, n  1  F  n, n  1G nCn K n, n  1 (11.55)
Dacă comparăm relaţia (11.55) cu (11.40), rezultă
E є n єH  n  K  n

Aceasta demonstrează că matricea K  n utilizată în ecuaţia Riccati cu diferenţe finite

(11.39) este de fapt matricea de corelaţie a erorii de filtrare a stării. Matricea K  n este
folosită la descrierea statistică a erorii estimării obţinute prin filtrare xˆ  n Yn  .

11.5 Algoritmul de filtrare Kalman

11.5.1 Condiţii iniţiale
Pentru a pune în funcţiune algoritmii de predicţie şi de filtrare descrişi în paragrafele 11.3 şi
11.4, este obligatorie specificarea condiţiilor iniţiale. Vom prezenta în continuare
modalitatea de rezolvare a acestei probleme.
Starea iniţială a procesului descris prin ecuaţia (11.1) nu se cunoaşte cu precizie. Ea se
descrie de obicei prin medie şi matrice sa de corelaţie. În absenţa oricărei date observate la
momentul n  0 , putem alege drept estimare de predicţie iniţială valoarea:
xˆ 1 Y0   E  x 1 (11.56)
iar drept matrice de corelaţie

 
K 1,0  E  x 1  E  x 1 x 1  E  x 1  Π
H
(11.57)
  0
 11.5 Algoritmul de filtrare Kalman 345
Tabelul 11.1 Trecerea în revistă a variabilelor care definesc filtrarea Kalman.

Variabila Definiţii Dimensiuni

x  n Vector de stare la momentul n M 1
y  n Vector de observaţie la momentul n N 1
F  n, n  1 Matrice de tranziţie de stare de la momentul M  M
n la n  1
C n Matrice de măsurare la momentul n N M
Q1  n Matricea de corelaţie a vectorului de proces M M
de zgomot v1  n
Q2  n Matricea de corelaţie a vectorului de zgomot NN
de măsurare v 2  n
xˆ  n  1 Yn  Estimarea de predicţie a vectorului de stare la M 1
momentul n, pe baza vectorilor de observaţie
y 1 , y  2, , y  n
xˆ  n Yn  Estimarea filtrată a vectorului de stare la M 1
momentul n, pe baza vectorilor de observaţie
y 1 , y  2, , y  n
G  n Matricea de câştig Kalman la momentul n M N
α  n Vectorul de inovaţii la momentul n N 1
R  n Matricea de corelaţie a vectorului de inovaţii N  N
α  n
K  n  1, n Matricea de corelaţie a erorii lui xˆ  n  1 Yn  M M
K  n Matricea de corelaţie a erorii lui xˆ  n Yn  M M

Această modalitate de selectare a condiţiilor iniţiale nu numai că satisface intuitiv dar are de
asemenea avantajul de a furniza o estimare filtrată a stării xˆ  n Yn  care este nedeplasată.
Presupunând că vectorul de stare x  n este de medie nulă, putem simplifica relaţiile (11.56)
şi (11.57), impunând
xˆ 1 Y0   0

şi: K 1,0  E x 1 x H 1  Π0

11.5.2 Formularea algoritmului Kalman standard

Tabelul 11.1 prezintă un rezumat al variabilelor utilizate la formularea soluţiei problemei de
filtrare Kalman. Intrarea filtrului este vectorul de proces y  n , reprezentat prin spaţiul
346 FILTRUL KALMAN - 11
Tabelul 11.2 Algoritmul de filtrare Kalman cu predicţie într-un pas.

Vectorul procesului de intrare

Observaţii = y 1 , y  2 , , y  n
Parametri cunoscuţi
Matricea de tranziţie a stărilor = F  n  1, n
Matricea de măsurare = C  n
Matricea de corelaţie a vectorului de zgomot de proces = Q1  n
Matricea de corelaţie a zgomotului de măsurare = Q2  n
Algoritm de calcul n  1, 2,3,
G  n  F  n  1, n K  n, n  1 CH  n  C n K n, n  1 CH n  Q2 n
1

α  n  y  n  C n xˆ n Yn 1 
xˆ n  1 Yn   F  n  1, n xˆ n Yn 1   G  n α  n
K  n  K  n, n  1  F n, n  1 G n Cn K n, n  1
K  n  1, n  F  n  1, n K n F H n  1, n  Q1 n
Condiţii iniţiale
xˆ 1 Y0   E  x 1

 
K 1,0  E  x 1  E x 1 x 1  E  x 1  Π
H

  0

vectorial Yn , iar ieşirea este estimarea filtrată xˆ  n Yn  a vectorului de stare. Tabelul 11.2
face un rezumat al operaţiunilor matematice ce definesc filtrul Kalman (inclusiv condiţiile
iniţiale) care implementează algoritmul de predicţie într-un pas.
Figura 11.5 face o reprezentare grafică a funcţionării filtrului Kalman de predicţie
într-un pas. Acesta este alcătuit din trei blocuri funcţionale:
 Blocul de calcul al matricii de câştig Kalman, descris prin schema din Figura 11.2,
 Blocul care realizează predicţia Kalman descris prin diagrama din Figura 11.3,
 Blocul care rezolvă ecuaţiile Riccati (11.39) şi (11.40) reprezentat prin diagrama
din Figura 11.4.
Exemplul 11.1 Se dă procesul AR(2) (autoregresiv de ordinul doi) x  n descris
prin ecuaţia cu diferenţe finite
x  n  1,8x  n  1  0,81x  n  2  v1 n (11.58)
unde zgomotul de stare v1  n este un zgomot alb de medie nulă şi varianţă unitară,
iar x  1  x  2  0 . Să se determine prin filtrarea Kalman a semnalului
observat
y  n  x  n  v2  n (11.59)
 11.5 Algoritmul de filtrare Kalman 347

Figura 11.5 Reprezentarea prin blocuri de calcul a filtrului Kalman de

predicţie într-un pas.
estimatul de eroare medie pătratică minimă a lui x  n , n  0 . Zgomotul de măsurare,
v2  n este alb de medie nulă şi  22  10 şi ortogonal pe v1  n .
Soluţie Din ecuaţiile (11.58) şi (11.59) pot fi formulate vectorul de stare şi
ecuaţia de măsurare a modelului de stare adoptat:
 x  n  1,8 0,81  x  n  1  v1  n
x  n    x n  2   
 0 
(11.60)
 x  n  1 1 0  
 x  n 
şi y  n  1 0    v2  n (11.61)
 x  n  1
Prin urmare mărimile matriciale care intervin în algoritm sunt
1,8 0,81 v  n 0,1 0
F  n    v1  n   1  Q1  n   C n  1 0
1 0  0  0 0
Pentru rezolvare s-a implementat în MATLAB algoritmul de filtrare Kalman din
Tabelul 11.2. Apoi, s-au procesat prin filtrare Kalman 100 de eşantioane ale
semnalelor x  n şi y  n generate cu (11.58) şi (11.59) în scopul calculării esti-
mării filtrate a vectorului de stare xˆ  n Yn  . Rezultatul este prezentat în Figura
11.6. Având în vedere că zgomotul de măsurare are varianţa  22 foarte mare,
semnalul măsurat y  n are o evoluţie în timp „zgomotoasă” în jurul valorilor lui
348 FILTRUL KALMAN - 11

Figura 11.6 Estimarea prin filtrare Kalman a procesului

AR(2) din Exemplul 11.1.

x  n . Totuşi filtrul Kalman reuşeşte să urmărească „strâns” evoluţia lui x  n şi

să reducă degradarea datorată zgomotului v2  n .
Figura 11.7 prezintă evoluţia componentelor vectorului de câştig Kalman
G  n  G1  n G2  n precum şi a varianţei erorii de estimare E єH  n є n .
T

Se observă că regimul tranzitoriu al filtrului Kalman durează aproximativ 20 de

eşantioane, după care filtrul devine staţionar, după cum era de aşteptat. În regim
staţionar, ecuaţiile de calcul al lui G  n şi K  n devin independente de datele de
intrare, ceea ce permite înlocuirea lor cu nişte constante şi reducerea importantă a
efortului de calcul.

11.6 Variante de filtre Kalman

Principalul motiv al interesului pe care îl arătăm teoriei filtrelor Kalman se datorează
faptului că aceasta furnizează un cadru general pentru deducerea algoritmilor de filtrare ce
se încadrează în categoriile algoritmilor RLS (vezi Capitolul 10) şi RLS rapizi (Capitolul
12).
Primele aplicaţii ale teoriei filtrării Kalman în domeniul filtrării adaptive raportate în
literatură au fost făcute de Lawrence şi Kaufman (1971). În particular, Godard (1974) a
formulat problema filtrării adaptive cu un filtru FIR ca fiind estimarea unui vector de stare
înecat în zgomot gaussian, ceea ce reprezintă o problemă clasică de filtrare Kalman.
Totuşi abia odată cu Sayed şi Kailath (1994) s-a demonstrat că algoritmul de filtrare
Kalman bazat pe rezolvarea ecuaţiei Ricatti poate fi complet echivalat cu oricare dintre algo-
ritmii cunoscuţi ai familiei RLS. În acest Capitol, vom prezenta elementele comune celor
două metode. În acest scop, foarte important în abordarea comună a celor două metode este
modelul dinamic pe care îl prezentăm în continuare.
 11.6 Variante de filtre Kalman 349

Figura 11.7 Evoluţia componentelor vectorului de câştig

Kalman G  n şi a erorii pătratice medii de esti-
mare E єH  nє n .

11.6.1 Modelul sistemului dinamic neforţat

Considerăm un sistem dinamic linear al cărui model în spaţiul stărilor este descris de urmă-
toarea pereche de ecuaţii de stare (Sayed şi Kailath 1994) :
x  n  1   1 2 x  n (11.62)
y  n  u H  n x  n  v  n (11.63)
unde  este un scalar real pozitiv. Conform acestui model, zgomotul de proces este nul iar
zgomotul de măsurare, reprezentat prin scalarul v  n , este un proces de zgomot alb de
varianţă unitară, după cum rezultă din relaţia de mai jos
1, n  k
E v  n v*  k    (11.64)
0, n  k
În urma comparării modelului descris prin ecuaţiile (11.62), (11.63) şi (11.64) cu modelul
general descris prin ecuaţiile (11.1) până la (11.4), notăm următoarele:
F  n  1, n   1 2I (11.65)
Q1  n  0 (11.66)
C n  u H  n (11.67)
Q2  n  1 (11.68)
Modelul în spaţiul stărilor descris prin ecuaţiile (11.62) până la (11.64) este numit model
dinamic neforţat datorită faptului că în ecuaţia de proces (11.62) lipseşte vreo forţă externă.
Mai important, matricea de tranziţie a stărilor modelului este egală cu matricea identitate I
350 FILTRUL KALMAN - 11

scalată cu constanta  1 2 . În consecinţă, matricea de corelaţie a erorii de predicţie a stării

K  n  1, n şi matricea de corelaţie a erorii de filtrare a stării K  n iau o valoare comună
(vezi relaţia (11.39)).
Acest model special constituie cheia formulării unui cadru general pentru dezvoltarea
familiei de algoritmi adaptivi de filtrare RLS. După cum se va arăta mai departe, constanta
 are un rol semnificativ în funcţionarea acestor algoritmi. Vom considera în continuare,
câteva variante ale algoritmului de filtrare Kalman bazate pe modelul dinamic neforţat.

11.6.2 Algoritmul de filtrare de covarianţă (Kalman)

Algoritmul de filtrare Kalman rezumat în Tabelul 11.2 este astfel conceput încât să propage
matricea de corelaţie (covarianţă) K  n  1, n ce se referă la eroarea de estimare a stării
xˆ  n  1 Yn  . Acest algoritm este denumit, prin urmare, algoritmul de filtrare de covarianţă
(Kalman). Pentru modelul dinamic neforţat pe de altă parte, găsim că înlocuind ecuaţiile
(11.65)-(11.68) în Tabelul 11.2 se obţine algoritmul simplificat de filtrare de covarianţă, ce
este rezumat în Tabelul 11.3. Din tabel se observă că matricea Kalman de câştig G  n
devine în acest caz special vectorul g  n .

11.6.3 Algoritmul de filtrare informaţională

O altă modalitate de implementare a filtrului Kalman se poate obţine dacă se face apel la
calculul recursiv al matricii inverse K 1  n . În această abordare se poate spune că se accen-
tuează caracterul de algoritm RLS al procesului de filtrare Kalman. Inversa matricii de
corelaţie a erorii de stare K 1  n este legată de matricea de informaţie a lui Fisher, fapt
care permite să se dea operaţiunii de filtrare o interpretare din punctul de vedere a teoriei
informaţiei (Haykin 1996). Din acest motiv, implementarea algoritmului de filtrare Kalman,
care se bazează pe K 1  n , poartă numele de algoritm de filtrare informaţională.
Pentru a deduce algoritmul de filtrare informaţională, procedăm în maniera pe care o
descriem în continuare.
Pasul 1. Se porneşte de la ecuaţia cu diferenţe finite Riccati care, în cazul special al
modelului dinamic neforţat, capătă forma (vezi ultima linie din Tabelul 11.3):
K  n   1K  n  1   1 2g  nu H  n K  n  1 (11.69)
Exprimăm din ultima ecuaţie valoarea produsului matricial g  n u H  n K  n  1 :
g  nu H  n K  n  1   1 2K  n  1  1 2K  n (11.70)
În continuare exprimăm, ca în prima linie a algoritmului din Tabelul 11.3, valoarea
vectorului de câştig Kalman pentru modelul dinamic neforţat:
 1 2 K  n  1 u  n
g  n  (11.71)
u H  n K  n  1 u  n  1
 11.6 Variante de filtre Kalman 351
Tabelul 11.3 Algoritmul de filtrare de covarianţă ce se aplică pe modelul de sistem dinamic
neforţat.
Procesul scalar de intrare
Observaţii =  y 1 , y  2 , , y  n
Parametri cunoscuţi
Matricea de tranziţie a stărilor =  1 2 I, I = matricea identitate
Matricea de măsurare = u H  n
Varianţa zgomotului de măsurare v  n  1
Condiţii iniţiale
xˆ 1 Y0   E  x 1

 
K 1,0  E  x 1  E x 1 x 1  E  x 1  Π
H

  0

Algoritm de calcul n  1, 2,3,

 1 2 K  n  1 u  n
g  n 
u H  n K  n  1 u  n  1
  n  y  n  u H  n xˆ n Yn 1 
xˆ n  1 Yn    1 2 xˆ n Yn 1   g  n  n
K  n   1K  n  1   1 2 g n uH n K n  1

Înmulţind şi rearanjând termenii din ecuaţia (11.71), o rescriem sub forma:

g  n   1 2K  n  1u  n   g  nu H  n K  n  1 u  n (11.72)
Obţinem o nouă definiţie a vectorului de câştig Kalman dacă substituim relaţia (11.70) în
(11.72) iar apoi simplificăm termenii comuni:
g  n  1 2 K  n  u  n  (11.73)
Continuăm, eliminând pe g  n între ecuaţiile (11.70) şi (11.73), şi multiplicând apoi
rezultatul cu 1 2 pentru a obţine
K  n  1  K  nu  nu H  n K  n  1  K  n (11.74)
În sfârşit, se premultiplică ecuaţia (11.74) cu matricea inversă K 1  n iar apoi se postmulti-
plică cu K 1  n  1 . Rezultatul care se obţine este prima ecuaţie de recursie a algoritmului
de filtrare informaţională:
K 1  n  K 1  n  1  u  nu H  n (11.75)
Pasul 2. Conform liniilor doi şi trei ale algoritmului prezentat în Tabelul 11.3 se scrie:
  n  y  n  u H  n xˆ n Yn1  (11.76)

şi: xˆ n  1 Yn    1 2 xˆ n Yn1   g  n  n (11.77)

352 FILTRUL KALMAN - 11

În consecinţă, înlocuind ecuaţia (11.73) în (11.77), se obţine

xˆ n  1 Yn    1 2 xˆ n Yn1   1 2K  nu  n n (11.78)
Apoi, eliminarea lui   n între ecuaţiile (11.76) şi (11.78), conduce la

xˆ  n  1 Yn     1 2 I  1 2 K  n u  n u H  n xˆ  n Yn 1 
(11.79)
 1 2 K  n  u  n  y  n 
Dar, din ecuaţia (11.74), se poate deduce cu uşurinţă următoarea relaţie:
 1 2I  1 2K  nu  nu H  n  1 2K  n K 1  n  1 (11.80)
Conform ultimei relaţii, ecuaţia (11.79) se poate simplifica astfel:
xˆ n  1 Yn   1 2K  n K 1  n  1 xˆ n Yn1   1 2K  nu n y n

Premultiplicăm această ultimă ecuaţie cu matricea inversă K 1  n şi obţinem cea de a doua

relaţie de recursie a algoritmului de filtrare informaţională:

K 1  n  1 xˆ n  1 Yn   1 2 K 1  n  1 xˆ n Yn1   u  n y  n  (11.81)
Se poate observa faptul că prin ecuaţia (11.81), algoritmul propagă mai degrabă produsul
K 1  n  1 xˆ n  1 Yn  decât estimarea xˆ  n  1 Yn  , care de fapt prezintă interes.
Pasul 3. În final, prin combinarea rezultatelor paşilor 1 şi 2, se calculează valoarea
actualizată a estimării vectorului de stare astfel:

xˆ  n  1 Yn   K  n K 1  n  xˆ  n  1 Yn  
(11.82)
  K 1  n  K n xˆ n  1 Y  
1 1
n

Ecuaţiile (11.75), (11.81) şi (11.82), în această ordine, reprezintă algoritmul de filtrare

informaţională pentru modelul de sistem dinamic neforţat definit prin relaţiile (11.62) până
la (11.64). Un rezumat al algoritmului este prezentat în Tabelul 11.4.

11.6.4 Algoritmi de filtrare Kalman cu

descompunere matricială
Implementarea standard a algoritmului de filtrare de covarianţă Kalman din Tabelul 11.2
reprezintă soluţia optimă a problemei de filtrare lineară enunţată în paragraful 11.1. Totuşi
acest algoritm poate prezenta dificultăţi numerice serioase, bine documentate în literatura de
specialitate (Kaminski, ş.a. 1971). De exemplu, conform ecuaţiei (11.40) matricea K  n
este definită ca fiind diferenţa dintre două matrici pozitiv definite; prin urmare, dacă precizia
numerică utilizată la implementarea algoritmului nu este suficient de mare, matricea K  n
care rezultă din acest calcul repetat la fiecare iteraţie poate să-şi piardă caracterul pozitiv
definit. O asemenea situaţie este evident neacceptabilă, deoarece K  n reprezintă o matrice
de corelaţie. Această comportare instabilă a filtrului Kalman ce se datorează impreciziilor
 11.6 Variante de filtre Kalman 353
Tabelul 11.4 Algoritmul de filtrare informaţională ce se aplică pe modelul de sistem dinamic
neforţat.

Procesul scalar de intrare

Observaţii =  y 1 , y  2 , , y  n
Parametri cunoscuţi
Matricea de tranziţie a stărilor =  1 2 I, I = matricea identitate
Matricea de măsurare = u H  n
Varianţa zgomotului de măsurare v  n  1
Condiţii iniţiale
xˆ 1 Y0   E  x 1

 
K 1,0  E  x 1  E x 1 x 1  E  x 1  Π
H

  0

Algoritm de calcul n  1, 2,3,

K 1  n    K 1  n  1  u  n u H  n


K 1  n  1 xˆ n  1 Yn   1 2 K 1  n  1 xˆ n Yn 1   u n y n 
xˆ n  1 Yn    K 1  n K 1  n xˆ n  1 Yn 
1

numerice ce apar atunci când valorile numerice sunt reprezentate în calculator prin cuvinte
de lungime finită, poartă numele de fenomen de divergenţă.
Divergenţa filtrului Kalman poate fi depăşită prin utilizarea de transformări matriciale
unitare numeric stabile la fiecare iteraţie a algoritmului de filtrare Kalman (Kaminski, ş.a.
1971, Morf şi Kailath 1975). În particular, locul matricii de corelaţie K  n este luat în
algoritmul Kalman de rădăcina pătrată a acesteia, obţinută prin factorizare Cholesky:
K  n  K  n K H  n  (11.83)
unde K  n reprezintă o matrice inferior triunghiulară iar K H  n este transpusa ei hermitică.
Subiectul descompunerii triunghiulare a unei matrici hermitice a fost introdus în paragraful
4.6 şi utilizat în Capitolele 9 şi 10. În algebra lineară, factorul Cholesky K  n este în mod
obişnuit denumit rădăcină pătrată a matricii K  n . Drept urmare, orice variantă de
algoritm de filtrare Kalman bazată pe factorizarea Cholesky poartă numele de filtrare de
rădăcină pătrată. Ceea ce trebuie subliniat aici este că produsul matricial K  n K H  n nu
poate deveni negativ definit, întrucât produsul oricărei matrici pătrate cu transpusa ei hermi-
tică este întotdeauna pozitiv definit. Într-adevăr, în ciuda erorilor de rotunjire, condiţionarea
numerică a factorului Cholesky K  n este mult mai bună decât cea a lui K  n .
Algoritmul de filtrare informaţională poate fi de asemenea implementat prin metode de
rădăcină pătrată, cu diferenţa că în acest caz recursia se face pe rădăcina pătrată K 1  n şi
354 FILTRUL KALMAN - 11

nu pe matricea inversă K 1  n (Kaminski, ş.a. 1971). În această variantă a filtrului Kalman,

factorizarea Cholesky exprimă matricea inversă K 1  n astfel:
K 1  n  K  H  n K 1  n (11.84)
unde K 1  n este o matrice inferior triunghiulară iar K  H  n este transpusa ei hermitică.

11.7 Filtrul Kalman extins (EKF)

Până în acest moment al discuţiei noastre asupra filtrelor Kalman, s-a tratat doar problema
estimării vectorului de stare în cazurile în care sistemul dinamic este reprezentat printr-un
model linear. Vom arăta în prezentul paragraf că şi în cazul în care modelul sistemului este
nelinear, se poate aplica filtrarea Kalman prin utilizarea unei proceduri de linearizare. Vom
denumi în mod natural filtrul rezultat în urma acestei operaţiuni, filtru Kalman extins
(Extended Kalman Filter - EKF). O asemenea extindere este fezabilă datorită faptului că
filtrul Kalman este descris, în cazul unui model de stare, prin ecuaţii cu diferenţe finite.
Trebuie subliniat faptul că o asemenea extindere nu este posibilă în cazul filtrului Wiener,
întrucât noţiunea de răspuns la impuls (pe care se bazează filtrul Wiener) are sens doar în
cazul sistemelor lineare. Această observaţie reprezintă un avantaj major al filtrării Kalman în
raport cu filtrul Wiener.
Vom porni în dezvoltarea filtrului Kalman extins de la modelul linear standard al unui
sistem dinamic în spaţiul stărilor introdus în prima parte a capitolului (ecuaţiile (11.1) şi
(11.3)), pe care le reproducem în continuare:
x  n  1  F  n  1, n x  n  v1  n (11.1)
y  n   C n  x  n   v 2  n  (11.3)
unde v1  n şi v 2  n sunt procese de zgomot alb de medie nulă şi necorelate cu matricile
de corelaţie Q1  n respectiv Q2  n , definite prin relaţiile (11.2), (11.4) şi (11.5). Ecuaţiile
de definiţie a algoritmului Kalman de filtrare corespunzător sunt rezumate în Tabelul 11.2.
Vom rescrie aceste ecuaţii într-o formă uşor modificată, mai convenabilă scopului propus.
În particular, vom realiza recursia pentru estimarea stării sistemului în doi paşi. În primul
pas se recalculează xˆ  n  1 Yn  pornind de la xˆ  n Yn  conform ecuaţiei (11.43). În al
doilea pas, pornind de la xˆ  n Yn 1  se obţine xˆ  n Yn  . Această recursie face apel la înlo-
cuirea ecuaţiei (11.29) în (11.44) şi definirea unei noi matrici de câştig Kalman:
G f  n  F1  n  1, nG  n (11.85)
În aceste condiţii, algoritmul de filtrare Kalman este descris prin următoarele ecuaţii
xˆ n  1 Yn   F  n  1, n xˆ n Yn  (11.86)

xˆ n Yn   xˆ n Yn1   G f  n α  n (11.87)

 11.7 Filtrul Kalman extins (EKF) 355

α  n  y  n  C n xˆ n Yn1  (11.88)

G f  n  K  n, n  1 CH  n  C n K  n, n  1CH  n  Q2  n
1
(11.89)

K  n  1, n  F  n  1, n K  n F H  n  1, n  Q1  n (11.90)
K  n   I  G f  nC n K  n, n  1 (11.91)
În continuare, vom face apel la un model mai elaborat al sistemului dinamic. În loc de
ecuaţiile de stare (11.1) şi (11.3), vom utiliza modelul alternativ:
x  n  1  F  n  1, n x  n  v1  n  d  n (11.92)
y  n   C n  x  n   v 2  n  (11.93)
unde d  n este un vector cunoscut (adică nealeator). Se verifică uşor în acest caz că ecuaţii-
le Kalman (11.87) până la (11.91) rămân nemodificate, excepţie făcând prima ecuaţie
(11.86) care devine:
xˆ n  1 Yn   F  n  1, n xˆ n Yn   d  n (11.94)
Această modificare va fi utilizată la deducerea filtrului Kalman extins ce va fi efectuată în
continuare.
După cum a fost menţionat anterior, filtrul Kalman extins (EKF) este o soluţie aproxi-
mativă care oferă posibilitatea extinderii principiului filtrării Kalman la modele nelineare în
spaţiul stărilor (Ljung şi Söderström 1983). În particular, modelul nelinear, pe care îl vom
considera în continuare, are următoarea formă:
x  n  1  F  n, x  n  v1  n (11.95)

y  n  C  n, x  n  v 2  n (11.96)
unde, ca şi mai sus, v1  n şi v 2  n sunt procese de zgomot alb de medie nulă şi necorelate
cu matrici de corelaţie Q1  n respectiv Q2  n . În schimb, aici, funcţionala F  n, x  n
reprezintă o matrice de tranziţie nelineară, posibil variabilă în timp. În cazul linear, ea se
reduce pur şi simplu la situaţia tratată anterior:
F  n, x  n  F  n  1, n x  n

În schimb, în cazul general nelinear, prin acţiunea funcţionalei F  n, x  n componentele

vectorului de stare x  n pot fi combinate nelinear. Mai mult, această dependenţă nelineară
poate fi şi variabilă în timp. Similar, funcţionala C  n, x  n reprezintă o matrice de măsu-
rare nelineară care, de asemenea, poate fi variabilă în timp.
Drept exemplu, să considerăm pentru relaţiile (11.95) şi (11.96) modelul bidimensional
în spaţiul stărilor de mai jos descris în continuare:
356 FILTRUL KALMAN - 11

 x1  n  1   x1  n  x22  n   v1,1  n 
   
 x2  n  1  nx1  n  x1  n x2  n  1 v1,2  n 
y  n   x1  n  x22  n   v2  n 
În acest exemplu avem
 x  n  x22  n 
F  n, x  n   1 
 nx1  n  x1  n x2  n  1
şi C  n, x  n  x1  n x22  n
Ideea fundamentală a filtrului Kalman extins constă în linearizarea modelului în spaţiul
stărilor din ecuaţiile (11.95) şi (11.96) la fiecare moment de timp în jurul celei mai recente
estimări de stare, care poate fi atât xˆ  n Yn  cât şi xˆ  n Yn 1  , în funcţie de forma
particulară a funcţionalei utilizate. Odată obţinut modelul linear, se aplică ecuaţiile standard
ale filtrului Kalman.
Mai explicit, aproximarea se face în doi paşi.
Pasul 1. Se construiesc următoarele două matrici
 F  n, x  n
F  n  1, n  (11.97)
x
x  xˆ  n Yn 

 C  n, x 
şi C n  (11.98)
 x x  xˆ n Y
 n1 


Drept urmare, componenta ij a lui F  n  1, n este egală cu derivata parţială a componentei i

a lui F  n, x  în raport cu componenta j a lui x . Similar, componenta ij a lui C n este
egală cu derivata parţială a componentei i a lui C  n, x  în raport cu componenta j a lui x .
În primul caz, derivatele sunt evaluate în xˆ  n Yn  , în timp ce în al doilea caz, derivatele se
evaluează la xˆ  n Yn 1  . Toate componentele matricilor F  n  1, n şi C n sunt cunoscute
(adică sunt calculabile), pentru că xˆ  n Yn  şi xˆ  n Yn 1  sunt cunoscute aşa cum se arată
în continuare.
Aplicăm definiţiile (11.97) şi (11.98) la exemplul ales şi obţinem
 F  n, x  1 2 x2   C  n, x 
  şi   x22 2 x1 x2 
x  n  x2  x1  x
1 2 xˆ2  n Yn  
ceea ce conduce la: F  n  1, n   
 n  xˆ2  n Yn   xˆ1  n Yn  
 11.7 Filtrul Kalman extins (EKF) 357

şi C n   xˆ22 n Yn1  2 xˆ1 xˆ2 n Yn1  

Pasul 2. Odată făcută evaluarea matricilor F  n  1, n şi C n , acestea sunt utilizate în

continuare la stabilirea aproximaţiei Taylor de ordinul întâi a funcţionalelor nelineare
F  n, x  n şi C  n, x  n în jurul valorilor xˆ  n Yn  şi xˆ  n Yn 1  . În particular,
F  n, x  n şi C  n, x  n se aproximează după cum urmează:

  
F  n, x  n F n, xˆ n Yn   F  n  1, n x  n  xˆ n Yn   (11.99)

  
C  n, x  n C n, xˆ n Yn1   C n x  n  xˆ n Yn1   (11.100)
Pe baza ultimelor două relaţii, se poate acum trece la aproximarea ecuaţiilor de stare
nelineare (11.95) şi (11.96) prin expresiile care urmează:
x  n  1 F  n  1, n x  n  v1  n  d  n (11.101)
şi y  n  C n  x  n   v 2  n  (11.102)
În (11.101) şi (11.102) s-au introdus două noi mărimi:
  
y  n  y  n  C n, xˆ n Yn1   C n xˆ n Yn1   (11.103)

şi  
d  n  F n, xˆ n Yn   F  n  1, n xˆ n Yn  (11.104)

Componentele vectorului y  n sunt toate cunoscute la momentul de timp n, şi prin urmare,

y  n poate fi privit ca un vector de observaţie la momentul n. Similar, toate componentele
vectorului d  n se cunosc la momentul n.
Modelul de stare aproximativ descris de ecuaţiile (11.101) şi (11.102) este linear şi are o
formă matematică identică cu modelul descris prin ecuaţiile (11.92) şi (11.93); de fapt, cu
acest obiectiv în vedere s-a formulat mai devreme modelul din ecuaţiile (11.92) şi (11.93).
Ecuaţiile filtrului Kalman extins sunt, prin urmare, şi în acest caz, ecuaţiile Kalman standard
(11.87) până la (11.91) şi (11.94) aplicate modelului linear definit mai sus. Se ajunge la
următorul set de ecuaţii:
xˆ  n  1 Yn   F  n  1, n  xˆ  n Yn   d  n 

  
 F  n  1, n  xˆ  n Yn   F n, xˆ  n Yn   F  n  1, n  xˆ  n Yn  

 F n, xˆ  n Yn  
xˆ  n Yn   xˆ  n Yn 1   G f  n  α  n  (11.105)
α  n   y  n   C  n  xˆ  n Yn 1 

 
 y  n   C n, xˆ  n Yn 1   C  n  xˆ  n Yn 1   C  n  xˆ  n Yn 1 

 y  n   C  n, xˆ  n Y  
n 1
358 FILTRUL KALMAN - 11

Figura 11.8 Graful de semnal al algoritmului de filtrare Kalman extins (EKF) cu

predicţie într-un pas.
Pe baza ecuaţiilor (11.105) reprezentăm în Figura 11.8 graful de semnal al operaţiei de
actualizare a filtrului Kalman extins de predicţie într-un pas.
Tabelul 11.5 prezintă un rezumat al algoritmului de filtrare Kalman extins, în care
matricile linearizate F n  1, n  şi C n  sunt calculate din omoloagele lor nelineare pe
baza ecuaţiilor (11.97) şi (11.98). Fiind dat un model de sistem în spaţiul stărilor descris prin
ecuaţiile (11.95) şi (11.96), se poate utiliza acest algoritm pentru a calcula estimarea de stare
recursiv. Comparând ecuaţiile filtrului Kalman extins rezumate aici cu ecuaţiile filtrului
Kalman standard date prin relaţiile (11.86) până la (11.91), observăm faptul că singurele
diferenţe dintre ele apar la calculul vectorului de inovaţii α  n şi al estimării vectorului de
stare xˆ  n  1 Yn  . În detaliu, termenii lineari F  n  1, n xˆ n Yn  şi C n xˆ n Yn1  care


apar la filtrul Kalman standard sunt înlocuiţi prin termenii aproximaţi F n, xˆ  n Yn  şi 
 
respectiv C n, xˆ  n Yn1  care sunt specifici filtrului Kalman extins. Aceste diferenţe sunt
de asemenea puse în evidenţă la compararea grafului de semnal din Figura 11.3 pentru
predicţia într-un pas făcută cu filtrul Kalman standard şi cel din Figura 11.8 pentru predicţia
într-un pas făcută cu filtrul Kalman extins.

11.8 Filtrul Kalman şi algoritmul RLS

Există o strânsă legătură între problema filtrării recursive prin metoda celor mai mici pătrate
(RLS) dezvoltată pe larg în Capitolul 10 şi cea a filtrării lineare optimale recursive aşa cum
este aceasta realizată prin algoritmul Kalman, prezentat în acest Capitol. Deşi, natura
algoritmilor RLS este deterministă iar metodele de filtrare Kalman sunt de natură stochas-
tică, ambele clase de aplicaţii se dovedesc a fi echivalente în sensul că rezolvând o problemă
dintr-o clasă rezolvăm implicit o problemă din cealaltă clasă şi viceversa (Sayed 2008).
Algoritmul RLS cu ponderare exponenţială a fost dedus pe baza unor principii
deterministe enunţate în Capitolul 10. Modelul matematic ce serveşte drept fundament
acestei deduceri este determinist, întrucât singura sa sursă de incertitudine rezidă în
caracterul aleator al erorii de măsurare e0  n din expresia (10.37) a semnalului de răspuns
dorit:
d  n  woH u  n  eo  n (11.106)
 11.8 Filtrul Kalman şi algoritmul RLS 359
Tabelul 11.5 Algoritmul de filtrare Kalman extins (EKF).

Vectorul procesului de intrare

Observaţii = y 1 , y  2 , , y  n
Parametri cunoscuţi
Matricea nelineară de tranziţie a stărilor = F  n, x  n
Matricea nelineară de măsurare = C  n, x  n
Matricea de corelaţie a vectorului de zgomot de proces = Q1  n
Matricea de corelaţie a zgomotului de măsurare = Q2  n
Algoritm de calcul n  1, 2,3,
G f  n  K  n, n  1 CH  n  C n K  n, n  1 CH  n  Q2  n
1


α  n  y  n  C n, xˆ n Yn 1  
xˆ n Yn   xˆ n Yn 1   G f  n α  n


xˆ n  1 Yn   F n, xˆ n Yn  
K  n   I  G f  n C n K  n, n  1
K  n  1, n  F  n  1, n K n F H n  1, n  Q1 n
Observaţie: Matricile linearizate F  n  1, n şi C  n sunt calculate din
omoloagele lor nelineare F  n, x  n şi C  n, x  n prin
utilizarea relaţiilor (11.97) şi, respectiv, (11.98).
Condiţii iniţiale
xˆ 1 Y0   E  x 1

 
K 1,0  E  x 1  E x 1 x 1  E  x 1  Π
H

  0

unde w o sunt parametrii parametrii procesului de regresie ce sunt identificaţi prin filtrare
(coeficienţii optimali ai filtrului adaptiv) iar u  n este semnalul la intrarea filtrului adaptiv.
Vom arăta în cele ce urmează că algoritmul RLS poate fi dedus exact direct din
algoritmul de filtrare Kalman de covarianţă prezentat în paragraful 11.6.2, utilizând un
model în spaţiul stărilor care se adaptează perfect problemei RLS (Sayed şi Kailath 1994).
Modelul de stare utilizat în acest caz este prin formularea sa natural stochastic. Această
abordare alternativă a soluţiei problemei RLS este deosebit de importantă întrucât ne permi-
te să stabilim o listă de corespondenţe unu la unu între variabilele RLS şi variabilele Kalman
bazate pe modelul de stare. Cu o asemenea listă la dispoziţie, putem utiliza vasta literatură
consacrată filtrelor Kalman pentru a rezolva problema algoritmilor RLS într-o manieră
unificată, ceea ce reprezintă obiectivul nostru final.
360 FILTRUL KALMAN - 11

11.8.1 O comparare a metodelor aleatoare şi

deterministe
Pentru început, vom considera modelul dinamic neforţat descris prin ecuaţiile (11.62) până
la (11.64), pe care îl reproducem în continuare
x  n  1   1 2 x  n (11.107)
y  n  u H  n x  n  v  n (11.108)
unde x  n este vectorul de stare al modelului, y  n este mărimea scalară de observaţie sau
semnalul de referinţă, iar v  n este un proces scalar aleator de zgomot alb de medie nulă şi
varianţă unitară. Parametrul modelului  este o constantă reală şi pozitivă. Din relaţia
(11.107) se vede uşor că:
x  n    n 2 x 0 (11.109)
unde x  0 este valoarea iniţială a vectorului de stare. Evaluând în consecinţă ecuaţia
(11.108) la momentele n  0,1, , şi utilizând în continuare ecuaţia (11.109) pentru a expri-
ma vectorii de stare la momente distincte în funcţie de valoarea iniţială x  0 , se obţine
următorul sistem de ecuaţii lineare:
y  0  u H  0 x  0  v  0
y 1   1 2u H 1 x 1  v 1
(11.110)

y  n     n 2u H  n  x  n   v  n 
Echivalent, se poate scrie
y  0  u H  0 x  0  v  0
 1 2 y 1  u H 1 x 1  1 2 v 1
(11.111)

 n 2 y  n  u H  n x  n   n 2v  n
Sistemul de ecuaţii (11.111) reprezintă o caracterizare stochastică a modelului dinamic
neforţat, corespunzând astfel la o abordare din punct de vedere Kalman a problemei.
Vom considera în continuare formularea deterministă a problemei, adică vom încerca să
o privim din punctul de vedere a algoritmului RLS. Adaptăm în acest scop la problema
examinată modelul de regresie lineară din ecuaţia (11.106):
 11.8 Filtrul Kalman şi algoritmul RLS 361

d *  0  u H  0 w o  eo* 0
d * 1  u H 1 w o  eo* 1
(11.112)

d *  n   u H  n  w o  eo*  n 
Avem astfel două sisteme de ecuaţii lineare simultane pentru rezolvarea în esenţă a
aceleiaşi probleme. Un sistem, (11.111), este stochastic, bazat pe teoria filtrării Kalman;
celălalt sistem, (11.112), este determinist, bazat pe teoria estimării după cele mai mici pătra-
te. Intuitiv, ne-am aştepta ca ambele abordări să conducă exact la aceiaşi soluţie pentru
problema examinată. Mai mult, recunoscând că aceste două sisteme de ecuaţii au aceiaşi
formă matematică, pare rezonabil pentru noi să stabilim
x  0  w o (11.113)
şi, în consecinţă xˆ n Yn1     n 2 w  n  1 (11.114)
Pe această bază, o comparaţie între ecuaţiile stochastice (11.111) şi ecuaţiile deterministe
(11.112) dezvăluie imediat corespondenţele unu la unu:
y  n    n 2 d *  n (11.115)
v  n    n 2eo*  n (11.116)
unde asteriscul reprezintă operaţia de conjugare complexă. Variabilele care apar în membrii
din partea stângă a ultimelor două ecuaţii se referă la modelul din spaţiul stărilor, iar cele
situate în partea dreaptă a ecuaţiilor se referă la modelul de regresie lineară.

11.8.2 Comparaţie între filtrul Kalman de covarianţă

şi algoritmul RLS
După cum a devenit evident în paragraful anterior, legătura dintre algoritmul RLS cu ponde-
rare exponenţială şi filtrarea Kalman se datorează aplicării filtrului Kalman modelului
special în spaţiul stărilor descris de (11.107) şi (11.108). Vom utiliza un pas mai departe
acest argument pentru a arăta că soluţia recursivă a algoritmului RLS standard descrisă prin
ecuaţiile (10.32) şi Tabelul 10.2 reprezintă o formulare alternativă a algoritmului de filtrare
Kalman de covarianţă din Tabelul 11.3 ce se aplică modelului mai sus-menţionat. Ecuaţiile
de mai jos reformulează algoritmul RLS standard într-un format echivalent celui utilizat în
Tabelul 11.31:
 1P  n  1 u  n
g RLS  n  (11.117)
 1u H  n P  n  1 u  n
e  n  d  n  w H  n  1u  n (11.118)

1
Pentru a face distincţia dintre vectorii de câştig RLS şi Kalman, desemnaţi anterior prin g  n , vom
indica vectorul de câştig RLS prin g RLS  n iar vectorul de câştig Kalman prin g K  n .
362 FILTRUL KALMAN - 11

w  n  w  n  1  g RLS  n e*  n (11.119)
P  n   1P  n  1   1g RLS  nu H  n P  n  1 (11.120)
Semnificaţiile mărimilor utilizate în ecuaţiile de mai sus este următoarea: g RLS  n este
vectorul câştigului de adaptare, P  n este inversa estimatei matricii de corelaţie a procesului
de intrare calculată la momentul n, e  n  este eroarea apriori de la ieşirea filtrului la acelaşi
moment de timp, iar  este factorul de uitare, 0   1 .
Comparăm ecuaţia (11.119) cu relaţia echivalentă de calcul recursiv al algoritmului
Kalman (11.29) adaptată la modelul special utilizat:

xˆ n  1 Yn    1 2 xˆ  n Yn1   g K  n y  n  u H  n xˆ n Yn1   (11.121)
Rescriem relaţia de mai sus în termenii algoritmului RLS, făcând substituţiile (11.114) şi
(11.115):
  n1 2 w  n   1 2  n 2 w  n  1  g K  n   n 2 d *  n    n 2u H  n w n

Continuăm, multiplicând ambii termeni ai ultimei relaţii cu   n 1 2 :

w  n  w  n  1  1 2g K  n  d *  n  u H  n w n  1  w n  1  g RLS e* n
Rezultă relaţia dintre vectorul câştigului de adaptare RLS şi vectorul de câştig Kalman:
g K  n   1 2 g RLS  n (11.122)
Comparând recursia lui P  n din (11.120) cu ecuaţia de recursie a matricii de corelaţie
K  n din Tabelul 11.3 se obţine, în acelaşi mod cu (11.122):
K  n   1P  n (11.123)
Pe lângă echivalările dintre cei doi algoritmi, evidenţiate de relaţiile (11.113) până la
(11.116) şi (11.122)-(11.123) pot fi realizate şi alte identificări între variabilele Kalman şi
variabilele RLS. Să reamintim, de exemplu, că problemei RLS i se asociază la fiecare
moment de timp n două semnale de eroare:
eroarea apriori: e  n  d  n  w H  n  1u  n
şi eroarea aposteriori:   n  d  n  w H  n u  n 
Aceste erori pot fi exprimate în funcţie de variabila de inovaţii a filtrului Kalman  K  n ,
astfel
 K  n  y  n  xˆ n Yn 1     n 2  d *  n   u H  n  w  n  1
(11.124)
   n 2 e*  n
 FILTRUL KALMAN Probleme 363

 *  n   d *  n    n 1 2u H  n  xˆ  n  1 Yn 

 d *  n    n 1 2u H  n   1 2 xˆ  n Yn 1   g K  n  K  n  
  d *  n   u H  n  w  n  1   1 2u H  n  g K  n  e*  n  (11.125)
 1   1 2u H  n  g K  n  e*  n 
 u H  n  K  n  1 u  n   *
 u  n  K  n  1 u  n   1   
 1  H e n  r 1  n  e*  n 
 
Conform ultimei ecuaţii, factorul de conversie RLS  RLS  n 2, care transformă eroarea RLS
apriori e  n  în eroarea RLS aposteriori   n , este egal cu factorul de conversie Kalman
(inversa varianţei variabilei de inovaţii), r 1  n , definit prin relaţia (11.49).
În concluzie, calculele efectuate mai sus demonstrează că filtrul RLS standard este
echivalent cu filtrarea Kalman de covarianţă ce se aplică modelului unui sistem dinamic
neforţat atunci când între cele două proceduri se utilizează echivalenţele descrise de Tabelul
11.6 (Haykin 1996, Sayed 2008). Această legătură strânsă care există între filtrul Kalman şi
algoritmii RLS permite ca literatura de specialitate foarte bogată în ceea ce priveşte
diversele variante de algoritmi Kalman să fie utilizată nemijlocit la dezvoltarea şi
fundamentarea matematică a filtrelor RLS.

Probleme
P 11.1 Vectorul de eroare a predicţiei de stare se defineşte prin
є n, n  1  x  n  xˆ n Yn1 

unde xˆ  n Yn 1  este estimarea de medie pătratică minimă a stării x  n , pe

spaţiul Yn1 subîntins de observaţiile y 1 , , y  n  1 . Se notează prin v1  n şi
v 2  n vectorii de zgomot de proces respectivde zgomot de măsurare. Arătaţi că
є n, n  1 este ortogonal atât pe v1  n cât şi pe v 2  n ; adică:
E є n, n  1 v1H  n  0 şi E є n, n  1 v 2H  n  0
P 11.2 Expresia matricii de câştig Kalman definit prin relaţia (11.33) include matricea
inversă R 1  n . Matricea R  n este la rândul său definită prin ecuaţia (11.19), pe
care o reproducem mai jos
R  n  C n K  n, n  1CH  n  Q2  n

2
Pentru a evita confuziile, s-a notat variabila de inovaţii Kalman prin  K  n iar factorul de
conversie RLS prin  RLS  n .
364 FILTRUL KALMAN - 11
Tabelul 11.6 Corespondenţe între variabilele filtrului Kalman şi variabilele algoritmului RLS
echivalent.
Kalman RLS
Descriere Variabilă Variabilă Descriere
Valoare iniţială a x  0 wo Vector necunoscut al
vectorului de stare coeficienţilor de regresie
Vector de stare x  n   n 2wo Versiune ponderată
exponenţial a vectorului
coeficienţilor
coeficienţilor
Semnalul de referinţă y  n   n 2 d *  n Răspunsul dorit
(măsurat)
Zgomot de măsurare v  n   n 2e*  n Eroarea de măsurare
Vector de stare a xˆ  n  1 Yn     n 1 2
ˆ  n
w Estimare vectorului
predicţiei într-un pas coeficienţilor
Matrice de corelaţie a K  n  1P  n Inversă a matricii de
erorii de predicţia de stare corelaţie a vectorului de
intrare
Vector de câştig Kalman g K  n  1 2g RLS  n Vector de câştig
Inovaţii  K  n   n 2e*  n Eroare de estimare apriori
Inovaţii  K  n   n 2r  n e* n Eroare de estimare
aposteriori
Varianţă a inovaţiilor r  n  RLS
1
 n Inversă a factorului de
conversie
Condiţii iniţiale xˆ 1 Y0   0 ˆ  0  0
w Condiţii iniţiale
K  0  1P 0

Matricea C n este definită nenegativ, dar nu este în mod necesar nesingulară

(a) De ce este R  n o matrice nesingulară?
(b) Ce condiţie iniţială trebuie impusă matricii Q2  n pentru a asigura existenţa
matricii inverse R 1  n .
P 11.3 Pentru situaţia în care matricea de tranziţie F  n  1, n este matricea unitate iar
vectorul zgomotului de stare este nul, arătaţi că matricea de corelaţie a erorii de
predicţie a stării K  n  1, n şi matricea de corelaţie a erorii de stare filtrate
K  n sunt egale
P 11.4 Utilizând condiţiile iniţiale descrise prin ecuaţiile (11.56) şi (11.57), arătaţi că
estimarea filtrată xˆ  n Yn  produsă de filtrul Kalman este nedeplasată; adică:

E  xˆ n Yn1    x  n
 12
Capitolul

12 Algoritmi RLS rapizi

Capitolul de faţă este dedicat dezvoltării unei clase importante de filtre adaptive, alcătuite
din algoritmi care sunt recurenţi atât în timp cât şi după ordinul filtrului. Originea algoritmi-
lor se găseşte în teoria estimării recursive în sensul celor mai mici pătrate (RLS) şi prin
urmare păstrează cele două caracteristici importante ale acesteia: viteză mare de convergenţă
şi lipsa de sensibilitate la variaţiile gradului de împrăştiere a valorilor proprii ale matricii de
corelaţie a datelor de intrare. Al doilea punct de pornire a algoritmilor RLS rapizi se găseşte
în filtrele de predicţie lineară studiate în Capitolul 5 care, datorită invarianţei pe care o
prezintă faţă de deplasarea semnalului de intrare sunt alcătuite din structuri modulare după
ordin (lattice) de filtrare.
Diferenţa faţă de algoritmii RLS studiaţi până acum este dată de reducerea complexităţii
matematice de la O  M 2  la O  M  , M fiind numărul de celule ale filtrelor. Recurenţa
după ordin oferă filtrelor adaptive implementate prin aceste metode eficienţă computaţiona-
lă şi modularitate, justificând pe lângă motivul menţionat anterior, denumirea de algoritmi
rapizi (Ciochină şi Negrescu 1999, Haykin 1996) pe care o poartă această categorie de filtre.
În particular, reducerea volumului de calcul se datorează recurenţei după ordin ceea ce face
ca, odată cu creşterea ordinului filtrului de la m la m  1 , o parte din informaţia acumulată
pentru filtrul de ordinul m să fie transferată filtrului de ordinul m  1 .
Pentru că algoritmii RLS combină conceptele de predicţie şi filtrare într-un mod elegant
care oferă implementări eficiente din punctul de vedere a efortului de calcul, vom porni
studiul lor de la abordarea predicţiei lineare în contextul metodei celor mai mici pătrate.

12.1 Predicţie liniară în context LS

12.1.1 Recursia după ordinul filtrului
Vom deschide subiectul prin introducerea unor notaţii şi observaţii utile în discutarea algo-
ritmilor recurenţi după ordin. Vom considera în acest scop secvenţa de date de intrare
u  n , u  n  1, , u  n  m  1, u  n  m, Atunci când ordinul de predicţie creşte de la m
366 ALGORITMI RLS RAPIZI - 12

la m  1 , vectorului de date um  n  u  n u  n  m  1

T
i se adaugă observaţia
suplimentară u  n  M  , devenind um1  n . Vom nota prin u n  um n primele m
m
m 1

componente iar prin u  n  um  n  1 ultimele m componente ale lui um1  n . Similar,

m
m 1

matricea de corelaţie R mm1  n de ordin m  m este determinată de de intersecţia primelor m

linii cu primele m coloane ale lui R m1  n iar matricea R mm1  n se obţine din intersecţia
ultimelor m linii şi ultimelor m coloane. De exemplu, dacă m  3 şi dacă se face abstracţie
de variabila timp, se scrie:

ceea ce ilustrează partiţionările superior-stânga şi inferior-dreapta ale matricii R 4 .

Dezvoltarea algoritmilor de predicţie lineară optimală din Capitolul 5 s-a făcut pe baza
proprietăţii de invarianţă la deplasare a vectorului de date de intrare
u  n   u  n  
u m 1  n   m   (12.1)
u  n  m u m  n  1
Elementul cheie în dezvoltarea acestor algoritmi cu recursie de ordin se află în următoarele
partiţionări după ordin ale matricii de corelaţie (vezi relaţiile (5.14) şi (5.42)):
 R  n rmb  n   Pm  n rmfH  n 
R m1  n   bHm  f  (12.2)
rm  n Pm  n  m rm  n R m  n  1
care reprezintă un rezultat al proprietăţii (12.1). S-au utilizat notaţiile:
rmb  n E um  nu*  n  m , rmf  n E um  n  1u* n (12.3)

şi P  n  E u  nu*  n (12.4)

Aceleaşi partiţii pot fi obţinute dacă se calculează matricea de corelaţie în sensul celor mai
mici pătrate (LS), Rˆ  n
m

n
ˆ  n     n  j u  j u H  j 
R m 1 m 1 m 1
j 0
(12.5)
R ˆ  n  rˆb  n    Em  n  rˆmfH  n  
  bHm m
 f 
rˆm  n  Em  n  m rˆm  n  Rˆ  n  1
m 
 12.1 Predicţie liniară în context LS 367

în ipoteza că estimarea LS este cu predecupare (prewindowing), um  1  0 (vezi

ˆ  n  1 în
paragraful 9.3). Condiţia este necesară pentru a asigura prezenţa termenului R m

ˆ  n .
partiţia inferior-dreapta a lui R m 1

Formele identice ale relaţiilor (12.2) şi (12.5) implică faptul că relaţiile recurente după
ordin precum şi structurile modulare de predicţie dezvoltate în Capitolul 5 pentru filtrele de
predicţie în sens optimal pot fi utilizate şi pentru predicţia în sens LS cu predecupare. Pentru
a face trecerea de la filtrarea optimală la filtrarea LS, se înlocuieşte, pur şi simplu, operatorul
de medie statistică E  cu operatorul de medie temporală   n j  , iar termenul
n
j 0

putere Pm  se înlocuieşte cu termenul energie Em  .

Vom relua în cele ce urmează, în contextul estimării LS, problema definirii operaţiei de
predicţie lineară, pentru că apar diferenţe majore în raport cu cazul optimal, ce trebuie
evidenţiate în acest punct al lucrării.

12.1.2 Ecuaţiile erorii de predicţie LS

Predicţia lineară constituie un caz special al filtrării adaptive în care, după cum s-a arătat în
Capitolul 5, semnalul dorit d  n este reprezentat chiar de semnalul de intrare: d  n  u  n
în cazul predicţiei înainte respectiv d  n  u  n  m în cazul predicţiei înapoi de ordinul m.
Eroarea de predicţie este dată de diferenţa dintre eşantionul specificat al semnalului de intra-
re şi ieşirea predictorului adaptiv.
Astfel, pentru predicţia înainte se defineşte eroarea de predicţie înainte aposteriori
 mf  n prin
 mf  n  u  n  wmfH  num  n  1 (12.6)
unde vectorii de lungime m ai secvenţei de intrare um  n  1 şi ai coeficienţilor predictorului
adaptiv w mf  n sunt, respectiv

um  n  1  u  n  1 u  n  2 u  n  m
T

w mf  n   wmf ,1  n wmf ,2  n wmf ,m  n

T
şi:
Ca şi în cazul filtrării RLS, eroarea aposteriori se calculează pe baza valorii de la momentul
de timp curent n a ponderilor filtrului predictor. Dacă calculul erorii utilizează valorile
„trecute” ale vectorului coeficienţilor, atunci se obţine eroarea de predicţie înainte apriori,
emf  n :
emf  n  u  n  wmfH  n  1 um  n  1 (12.7)
Variabilele care definesc operaţia de predicţie înapoi sunt vectorii de lungime m ai
secvenţei de intrare u m  n şi ai coeficienţilor predictorului adaptiv w bm  n definiţi prin
368 ALGORITMI RLS RAPIZI - 12

um  n  u  n u  n  1 u  n  m  1
T

wbm  n   wmb ,1  n wmb ,2  n wmb ,m  n

T
respectiv:

Eroarea de predicţie înapoi aposteriori  mb  n se calculează pe baza valorilor actualizate la

momentul curent ale coeficienţilor filtrului:
 mb  n  u  n  m  wbH
m  n um  n (12.8)
iar calculul erorii de predicţie înapoi apriori emb  n utilizează valorile anterioare ale
vectorului coeficienţilor:
emb  n  u  n  m  wbH
m  n  1 um  n  (12.9)
Trebuie remarcat că notaţiile care desemnează în Capitolul 5 erorile de predicţie înainte
şi înapoi, f m  n respectiv bm  n , diferă de cele utilizate aici, pentru că erorile de predicţie
LS aposteriori şi apriori nu pot fi echivalate direct cu eroarea predicţiei optimale folosită
anterior.
O modalitate echivalentă de descriere a procesului de predicţie utilizează filtrul erorii de
predicţie înainte respectiv filtrul erorii de predicţie înapoi reprezentate în Figura 12.1.
Relaţia dintre coeficienţii filtrului erorii de predicţie am  n respectiv cm  n (vezi Figura
12.1) şi coeficienţii predictorului este evidentă, dacă se are în vedere faptul că eroarea de la
ieşirea predictorului este semnalul de ieşire al filtrului de eroare:
am  n  wmf  n respectiv cm  n  wbm  n (12.10)
Prin urmare, vectorii de lungime m ai coeficienţilor filtrelor erorii de predicţie înainte şi

Figura 12.1 (a) Filtrul erorii de predicţie înainte de

ordinul m şi (b) filtrul erorii de predicţie
înapoi de ordinul m.
 12.1 Predicţie liniară în context LS 369

înapoi sunt
am  n  am,1  n am,2  n am,m  n
T

cm  n  cm,0  n cm,1  n cm,m1  n .

T
respectiv
Rescriem ecuaţiile predicţiei LS (12.6)-(12.9) pentru setul de coeficienţi utilizat în filtrele
erorii de predicţie:
1. Eroarea de predicţie înainte aposteriori
 mf  n  u  n  amH  n um  n  1
(12.11)
2. Eroarea de predicţie înainte apriori
emf  n  u  n  amH  n  1 um  n  1 (12.12)
3. Eroarea de predicţie înapoi aposteriori
 mb  n  u  n  m  cmH  n um  n (12.13)
4. Eroarea de predicţie înapoi apriori
emb  n  u  n  m  cmH n  1 um n (12.14)
Şi în ceea ce priveşte vectorii coeficienţilor filtrelor erorii de predicţie există o diferenţă
faţă de notaţiile utilizate în Capitolul 5. Anterior, notaţiile am  n respectiv cm  n desem-
nau vectori de lungime m  1 , întrucât şi coeficienţii unitari am,0  1 respectiv cm,m  1 (vezi
Figura 12.1) erau consideraţi ca făcând parte din filtrele erorii de predicţie. Notaţia utilizată
aici are scopul de fi coerentă cu semnificaţia ei.

12.1.3 Ecuaţiile de recursie ale predicţiei RLS

Algoritmii RLS rapizi exploatează invarianţa la deplasare a vectorului de date (12.1) precum
ˆ  n enunţată prin ecuaţia (10.7), în
şi ecuaţia de recursie în timp a matricii de corelaţie R m

scopul dezvoltării de algoritmi rapizi de complexitate O  M  . Reluăm aici, ecuaţia de

recursie a matricii de corelaţie:
Rˆ  n   R
ˆ  n  1  u  nu H  n (12.15)
m m m m

Principalele categorii de algoritmi care pot fi încadrate sub apelativul de algoritmi RLS
rapizi sunt enumerate în continuare (Manolakis, ş.a. 2005):
1. Algoritmi RLS rapizi fără recursie de ordin pentru filtre FIR cu structură directă
ce calculează recursiv în mod explicit vectorii de câştig RLS g  n şi g  n .
2. Algoritmi RLS rapizi cu recursie după ordin pentru filtre FIR cu structură lattice-
scară ce-şi actualizează indirect sau direct coeficienţii.
3. Algoritmi RLS cu descompunere QR pentru filtre FIR cu structură lattice-scară ce
utilizează rotaţii Givens.
370 ALGORITMI RLS RAPIZI - 12

Vom studia în continuare cei mai reprezentativi algoritmi din fiecare categorie menţionată
anterior.
Toate relaţiile stabilite în Capitolul 5 rămân valabile în cazul predicţiei liniare în sens LS
cu predecupare, cu diferenţa că variabila P este înlocuită cu variabila E, pentru a sublinia
faptul că în predicţia LS interpretarea funcţiei de cost este de energie şi nu de putere ca în
cazul predicţiei optimale. Tabelul 12.1 prezintă corespondenţele care există la nivelul ecua-
ţiilor de funcţionare între filtrarea FIR generală şi predictoarele liniare înainte şi înapoi.
Utilizând aceste corespondenţe şi ecuaţiile normale care definesc filtrarea în sens LS, se pot
obţine uşor atât ecuaţiile normale cât şi expresiile funcţiei de cost minime, rezumate de
asemenea în Tabelul 12.1. Expresiile din tabel sunt corecte, atâta vreme cât parametrii
filtrelor erorii de predicţie am  n şi b m  n sunt menţinuţi constanţi pe parcursul întregului
interval de optimizare.
Tabelul 12.2 face o trecere în revistă a ecuaţiilor de recursie apriori şi aposteriori în
sensul celor mai mici pătrate deduse în Capitolul 10 al acestei lucrări. Dacă se utilizează
corespondenţele relevate în Tabelul 12.1 dintre filtrarea FIR generală şi filtrarea de predicţie
lineară LS, atunci pot fi deduse uşor ecuaţii de recursie similare pentru predicţia lineară
înainte respectiv pentru predicţia lineară înapoi. Rezultatele obţinute pentru predicţie sunt de
asemenea trecute în revistă în Tabelul 12.2.

12.2 Filtre FIR rapide fără recursie de

ordin
Principalul efort de calcul în filtrele RLS este reprezentat de calcularea vectorului de câştig
g  n sau g  n . Algoritmul RLS standard, pentru început, determină matricea inversă
Tabelul 12.1 Corespondenţe în sens LS între filtrarea FIR, predicţia lineară înainte şi predicţia
lineară înapoi
 12.2 Filtre FIR rapide fără recursie de ordin 371
Tabelul 12.2 Rezumat al ecuaţiilor de recursie temporală în sens LS ce utilizează erorile apriori
şi aposteriori în cazul general al filtrării FIR precum şi pentru predicţiile lineare
înainte şi înapoi.
Recursie temporală
Ecuaţie Recursie temporală aposteriori
apriori
Câştig (a) ˆ  n g  n   u  n 
R ˆ  n  1 g  n  u  n
R
m m m m m m

Filtru (b) em  n  d n  w n  1um n

H
m  m  n  d n  wmH num n
adaptiv
(c) wm  n  wm  n  1  gm  n em* n wm  n  wm  n  1  gm  n m* n

 m  n
2

Em  n   Em  n  1   m  n em  n Em  n   Em  n  1 
2
(d)
 m  n
Predictor (e) e  n  u  n   a
f
m n  1um n  1
H
m  n  u n  a num n  1
f
m
H
m
linear
înainte (f) am  n  am  n  1  gm  n  1 emf *  n am  n  am  n  1  gm  n  1 mf *  n

 mf  n
2

E  n   E  n  1   m  n  1 e  n E  n   E  n  1 
f f f 2
f f
(g)
 m  n  1
m m m m m

Predictor (h) e  n  u n  m  c
b
m n  1um n
H
m   n  u n  m  c num n
b
m
H
m
linear
înapoi (i) cm  n  cm  n  1  gm  n emb* n cm  n  cm  n  1  gm  n mb* n

 mb  n
2

Emb  n   Emb  n  1   m  n emb n E  n   E  n  1 

2
b b
(j)
 m  n
m m

ˆ 1  n , iar apoi calculează vectorul de câştig printr-o multiplicare matrice-vector ceea ce

R
face ca complexitatea de calcul să fie de ordinul a O  M 2  operaţii pe recursie. Singura cale
de reducere a complexităţii de la O  M 2  la O  M  este de a actualiza direct vectorii de
câştig. Algoritmii care realizează acest lucru, exploatează structura invariantă la deplasare a
vectorului datelor de intrare evidenţiată prin ecuaţia (12.1), după cum se va vedea pe parcur-
sul acestui paragraf.
La baza dezvoltării acestor algoritmi stă operaţia de calcul prin recursie după timp şi
ordin a inversei matricii de corelaţie pe baza partiţionării acesteia. Vom trece la introducerea
algoritmilor, prezentând pentru început utilizarea lemei de partiţionare în operaţia de
inversare matricială.

12.2.1 Inversarea matricilor hermitice partiţionate

Fie vectorul um1  u1 um1   M  1 1 ,
T
um de dimensiune unde se notează
 m
um  u . Matricea de corelaţie a acestuia este R m1 , a cărei partiţie definită prin (12.2), se
m 1
calculează astfel:

 u  
 R rmb 
R m1  E   m  u mH um* 1     bHm  (12.16)
 um1 
  rm
 mb 
372 ALGORITMI RLS RAPIZI - 12

unde termenul rmb este dat prin (12.3) iar relaţia (12.4) defineşte pe mb  E  um1  .
2
 
Vom presupune, în continuare, că inversa R m1 a submatricii principale R mm1  R m a
matricii R m1 este cunoscută şi că se doreşte să se calculeze R m11 utilizând valorile deja
cunoscute. Având în vedere că inversa Qm1 a matricii hermitice R m1 este tot hermitică, ea
poate fi partiţionată astfel:
Q qm 
Qm 1   Hm
qm 
(12.17)
q m
Facem apel la (12.16) pentru a calcula componentele lui Qm1 :
R rmb  Qm q m  I m 0m 
R m1Qm1   bHm  
qm  0mH 1 
(12.18)
rm mb  q mH
După multiplicarea matricială, se obţin ecuaţiile
R mQm  rmb qmH  I m (12.19)
rmbH Qm  mb qmH  0mH (12.20)
R mqm  rmb qm  0m (12.21)
rmbH qm  mb qm  1 (12.22)
unde 0m este vectorul nul de dimensiune m 1 . Dacă matricea R m este inversabilă,
expresia (12.21) permite, în prima instanţă, calculul lui q m :
qm  R m1rmb qm (12.23)
iar în continuare, prin înlocuire în (12.22), în ipoteza că mb  rmbH R m1rmb  0 , stabilirea
valorii lui qm
1
qm  (12.24)
  r R m1rmb
b
m
bH
m

.Continuăm, înlocuind acum pe (12.24) în (12.23), şi avem:

R m1rmb
qm  (12.25)
mb  rmbH R m1rmb
Ultima ecuaţie, coroborată cu relaţia (12.19), conduce la
R m1rmb  R m1rmb 
H

Qm  R m1  R m1rmb q mH  R m1  (12.26)

mb  rmbH R m1rmb
Trebuie observat că relaţiile (12.24), (12.25) şi (12.26) exprimă părţile matricii inverse
Qm1 în funcţie de mărimi cunoscute. Având în vedere scopurile noastre, vom exprima
ecuaţiile de mai sus într-o modalitate mai convenabilă, utilizând variabilele
 12.2 Filtre FIR rapide fără recursie de ordin 373

T
cm  cm,1 cm,2 cm,m  R m1rmb (12.27)
şi mb mb  rmbH Rm1rmb  mb  rmbH cm (12.28)
În contextul predicţiei lineare, semnificaţiile celor două mărimi sunt evidente: relaţia
(12.27) constituie o soluţie a ecuaţiei normale, reprezentând vectorul coeficienţilor filtrului
erorii de predicţie înapoi iar  mb în (12.28) reprezintă puterea în sens optimal (sau energia în
sens LS) minimă a erorii de predicţie înapoi.
Drept urmare, dacă matricea R m este inversabilă iar  mb  0 , combinând (12.18) cu
(12.24)-(12.28), se obţine
1
R rmb   R m1 0m  1 cm  H
  b   cm 1
1
R m 1   bHm   H (12.29)
rm mb   m
0 0   m 1 
Ecuaţia determină R m11 din R m1 prin utilizarea unei recursii de ordin cunoscută sub numele
de inversare de matrice prin lema de partiţionare (Noble şi Daniel 1988).
O altă expresie utilă pentru  mb este (Manolakis, ş.a. 2005):
det R m 1
 mb  (12.30)
det R m
ceea ce justifică importanţa mărimii  mb pentru inversabilitatea matricii R m1 .
Urmând o procedură similară cu cea dezvoltată în acest paragraf, se poate arăta
(Manolakis, ş.a. 2005) că inversa matricii R m1 partiţionată inferior-dreapta ( R mf  R mm1 ) se
calculează astfel:
 mf rmfH 
1
0 0mH  1 1 
R 1
 f     f a  1 am 
H
(12.31)
R 
m 1 1
rm R mf   0m f
 m  m
 m 
  R mf  rmf
T 1
unde am   am,1 am,2 am,m  (12.32)

mf   rmfH  rmf  mf  rmfH am 

1 det R m1
şi:  mf (12.33)
det R mf
Ca şi în cazul relaţiilor (12.27) şi (12.28), mărimile definite prin (12.32) şi (12.33) au
semnificaţii similare în contextul predicţiei lineare. Astfel, vectorul a m conţine coeficienţii
filtrului erorii de predicţie înainte, ecuaţia sa de definiţie reprezentând soluţia unei ecuaţii
normale iar  mf reprezintă puterea în sens optimal (sau energia în sens LS) minimă a erorii
de predicţie înainte.

12.2.2 Algoritmul Kalman rapid

Vom presupune că se cunoaşte valoarea vectorului de câştig la momentul n  1 :
374 ALGORITMI RLS RAPIZI - 12

g m  n  1  R
ˆ 1  n  1u  n  1
m m (12.34)
Se doreşte determinarea valorii acestuia la următorul moment
g  n  R
m
ˆ 1  n u  n
m m (12.35)
prin ajustarea lui g m  n  1 pe baza noilor valori disponibile um  n , d  n .

Pentru a calcula recursiv vectorul de câştig, vom utiliza pentru R ˆ 1  n formulele de

m 1

inversarea matricială prin partiţionare (12.29) şi (12.31) actualizate la cazul filtrării LS:

ˆ 1  n   R m  n 0m   1 cm  n c H  n 1
 ˆ 1 
R   m  (12.36)
0  Em  n 1
m 1 H b
 0m 
0 0mH  1 1 
şi: ˆ 1  n  
R  f a n  1 am  n
H
(12.37)
R m  n Em  n  m  
m 1
ˆ 1
0m
Se începe cu prima formulă de partiţionare din (12.36), prima partiţie a vectorului de
date din (12.1) precum şi definiţia erorii de predicţie aposteriori  mb  n din Tabelul 12.2. Se
obţine:
g  n  b  n cm  n
g m1  n   m   mb   (12.38)
0  Em  n 1 
ceea ce constituie o recursie „pură” după ordin a vectorului de câştig g m  n . Similar, se
face apel la ecuaţia (12.37), la cea de a doua partiţie a vectorului de date din (12.1) şi la defi-
niţia erorii de predicţie aposteriori  mf  n din Tabelul 12.2 pentru a avea
0   mf  n 1 
g m1  n     f   (12.39)
g m  n  1 Em  n am  n
ceea ce reprezintă o recursie „combinată” de timp şi ordin a vectorului de câştig g m  n . În
aceste două ultime ecuaţii se găseşte „cheia” dezvoltării de algoritmi RLS rapizi prin recur-
sia vectorului de câştig.
Pentru a realiza recursia temporală a vectorului de câştig, se porneşte de la g m  n  1 şi
se face pentru început recursia de timp şi ordin (12.39) ceea ce dă pe g m1  n . În continuare,
se aplică recursia de ordin (12.38) din ale cărei prime m ecuaţii poate fi extras vectorul
g m  n astfel:
g m  n  g m 1  n  gm1,m1  ncm  n
m
(12.40)
  n
b

întrucât, din (12.38): g m 1,m 1  n  m

(12.41)
E  n
b
m
 12.2 Filtre FIR rapide fără recursie de ordin 375

Pentru a efectua recursiile (12.38) şi (12.39) este nevoie să se efectueze recursiilor temporale
ale coeficienţilor filtrelor erorii de predicţie am  n şi cm  n precum şi ale valorilor minime
ale funcţiilor de cost Emf  n respectiv Emb  n , care sunt calculate în Tabelul 12.2. Singura
problemă rămasă în suspans este rezolvarea „cuplajului” care există între g m  n din ecuaţia
(12.40) şi vectorul coeficienţilor cm  n din relaţia
cm  n  cm  n  1  g m  n emb*  n (12.42)
Problema poate fi evitată prin eliminarea lui cm  n , în urma înlocuirii recursiei (12.42) în
ecuaţia (12.40):
g m 1  n  g m 1,m 1  n cm  n  1
m

g m  n  (12.43)
1  g m 1,m 1  n emb*  n
ceea ce contribuie cu un ultim pas la realizarea recursiei.
Procedura de calcul prezentată este cunoscută sub numele de algoritmul Kalman rapid.
Ea a fost dezvoltată de Falconer şi Ljung (1978) pornind de la ideile enunţate de Morf
(1974). Pentru a sublinia faptul că algoritmul nu face recursie de ordin, vom nota în
continuare m  M şi vom renunţa la indicii de ordin pentru toate mărimile care sunt de
Tabelul 12.3 Algoritmul Kalman rapid cu recursie în timp pentru filtre FIR în sens LS.

Ecuaţie Calcule
Vechile estimări: a  n  1 , c  n  1 , g  n  1 , w  n  1 , E f  n  1
Date noi: u  n , d  n
Recursia câştigului şi a filtrelor erorii de predicţie
(a) e f  n  u  n  aH  n  1 u  n  1
(b) a  n  a  n  1  g  n  1 e f *  n
(c)  f  n  u  n  aH  n u  n  1
(d) E f  n   E f  n  1   f n e f * n
0   f  n 1 
(e) g M 1  n    f  
g  n  1 E  n a  n
(f) eb  n  u  n  m  cH  n  1 u  n
g M 1  n  g M 1, M 1  n c  n  1
M

(g) g  n 
1  g M 1, M 1  n eb*  n
(h) c  n  c  n  1  g  n eb*  n
Recursia filtrului adaptiv
(i) e  n  d  n   w n  1 u n
H

(j) w  n  w  n  1  g  n e*  n
376 ALGORITMI RLS RAPIZI - 12

ordinul M. Organizarea calculelor algoritmului, care necesită 9M operaţii aritmetice pe

fiecare recursie de timp este prezentată în Tabelul 12.3.

12.2.3 Algoritmul FAEST

Algoritmul FAEST (Fast Aposteriori Error Sequential Technique – Tehnică secvenţială
rapidă cu erori aposteriori) a fost introdus de Carayannis, ş.a. (1983). El operează într-un
mod similar cu algoritmul Kalman rapid dar utilizează vectorul de câştig alternativ gm  n în
locul lui g m  n . Pentru a obţine recursia se porneşte de la ecuaţia:
gm  n   1R
ˆ 1  n u  n
m m (12.44)
şi se utilizează în ordine ecuaţiile (12.36) şi (12.37). Într-adevăr, utilizând ecuaţia (12.37)
împreună cu partiţia inferioară din (12.1) şi ecuaţia (12.36) împreună cu partiţia superioară
din (12.1), se obţine
0  emf  n 1 
gm 1  n       (12.45)
 gm  n  1  Em  n  1 am  n  1
f

 g  n eb  n cm  n  1

şi: gm1  n   m   m b   (12.46)
0   Em  n 1 
ceea ce asigură o conexiune între gm  n  1 şi gm  n . Din (12.46) se obţine:
gm  n  gm 1  n  gm1,m1  n cm  n  1
m
(12.47)
întrucât din ultima linie a relaţiei (12.46) rezultă:
emb  n
g m 1,m1  n  (12.48)
 Emb  n  1
Diferenţa fundamentală dintre relaţiile (12.38) şi (12.46) este faptul că prezenţa lui
cm  n  1 în cea de a doua întrerupe legătura dintre vectorul de câştig şi filtrul erorii de
predicţie înapoi. Mai mult, relaţia (12.48) poate fi utilizată pentru a calcula eroarea emb  n
prin numai două multiplicări
emb  n   Emb  n  1 gm1,m1 n (12.49)
Pentru a aplica recursiile în timp ale filtrelor erorii de predicţie cu ajutorul vectorului de
câştig gm  n conform formulelor din Tabelul 12.2, este necesar ca erorile aposteriori să fie
calculate din erorile apriori prin utilizarea factorului de conversie
 m  n  1  gmH  num  n (12.50)
care trebuie la rândul lui să fie actualizat în timp. Acest lucru poate fi îndeplinit printr-o
procedură în doi paşi, pe care o prezentăm în cele ce urmează. În primul pas, prin utilizarea
relaţiei (12.45) şi a partiţiei inferioare din (12.1), se obţine:
 12.2 Filtre FIR rapide fără recursie de ordin 377

emf  n
2

 m 1  n   m  n  1  (12.51)
 Emf  n  1
care este o recursie combinată de timp şi ordin. În continuare se utilizează relaţia (12.46) şi
partiţia superioară din (12.1) pentru a obţine
 m  n   m1  n  gm1,m1  n emb*  n (12.52)

emb  n
2

sau:  m  n   m 1  n  (12.53)
 Emb  n  1
relaţie care împreună cu (12.51) asigură recursia de timp necesară  m  n  1   m1  n 
 m  n .
Tabelul 12.4 prezintă operaţiunile matematice care definesc algoritmul FAEST.
Algoritmul FAEST necesită numai 7M operaţiuni pe recursie de timp şi este, din acest punct
de vedere, cel mai eficient algoritm din familia filtrelor RLS cu predecupare.

12.2.4 Algoritmul FTF

Algoritmul FTF (Fast Transversal Filter – Filtrul rapid transversal) este un algoritm de tip
aposteriori obţinut din algoritmul FAEST prin utilizarea factorului de conversie
 m  n  1  gmH  n um  n (12.54)
în locul factorului de conversie  m  n  1  m  n . Utilizând ecuaţiile de recursie (12.38) şi
(12.39) împreună cu partiţiile superioară respectiv inferioară ale vectorului de date din (12.1)
, obţinem:
 mb  n
2

 m 1  n   m  n  (12.55)
Emb  n

 mf  n
2

şi, respectiv  m 1  n   m  n  1  (12.56)

Emf  n
Algoritmul FTF înlocuieşte pe   m din Tabelul 12.4 prin 1  m  n şi ecuaţia (h) din
acelaşi tabel prin relaţia (12.56). Pentru a obţine pe  m  n din  m1  n , nu poate fi folosită
ecuaţia (12.55) pentru că aceasta utilizează mărimi dependente de  m  n . Pentru a evita
această problemă, se înlocuieşte ecuaţia (i) din tabel prin următoarea relaţie
 m1  n
 m  n  (12.57)
1   m1  n g m1,m1  n emb*  n
ce este obţinută în urma combinării ecuaţiilor (12.53), (12.48) şi a schimbării de variabilă
 m  n  1  m  n . În mod similar, se poate arăta că
378 ALGORITMI RLS RAPIZI - 12

Tabelul 12.4 Algoritmul FAEST cu recursie în timp pentru filtre FIR în sens LS.

Ecuaţie Calcule
Vechile estimări:
a n  1, c n  1, w  n  1, g  n  1, E f n  1, E b n  1, n  1
Date noi: u  n, d  n
Recursia câştigului şi a filtrelor erorii de predicţie
(a) e  n  u  n  aH  n  1 u  n  1
f

e f  n
(b)  f  n 
  n  1
(c) a  n  a  n  1  g  n  1 f *  n
(d) E f  n   E f  n  1   f n e f * n
0   f  n 1 
(e) gM 1  n      
 g  n  1  E  n  1 a  n  1
f

(f) eb  n   E b  n  1 g M 1, M 1  n
g  n  gM 1  n  g M 1, M 1  n c  n  1
M
(g)

e f  n
2

(h)  M 1  n    n  1 
 E f  n  1
(i)   n   M 1  n  gM* 1, M 1 n eb n
(j) c  n  c  n  1  g  n b*  n
eb  n 
(k)  b  n 
  n
(l) E  n   E b  n  1   b n eb* n
b

Recursia filtrului adaptiv

(m) e  n  d  n   w H
n  1 u n
e  n
(n)   n 
  n
(o) w  n  w  n  1  g  n e*  n

 Emf  n  1  Emb  n  1
 m1  n   m  n  1   m  n (12.58)
Emf  n Emb  n
În concluzie, algoritmul FTF are o complexitate de calcul echivalentă cu algoritmul
FAEST, în literatură fiind întâlnit în mai multe variante (Manolakis, ş.a. 2005). El a fost
introdus printr-un raţionament geometric de Cioffi şi Kailath (1984).
 12.3 Algoritmi LS rapizi pentru structuri lattice 379

12.2.5 Iniţializarea şi stabilitatea algoritmilor rapizi

fără recursie de ordin
Algoritmii RLS rapizi fără recursie de ordin sunt implementaţi în structuri de filtrare FIR
directe, fiind iniţializaţi la n  0 cu valorile
E f  1  E b  1    0
(12.59)
  1  1 sau   1  1
Pentru restul mărimilor utilizate, valoarea iniţială este nulă. Pentru constanta  se alege o
valoare pozitivă mică de ordinul a 0,01 u2 . În cazul unei variabile de „uitare”   1 , efectul
condiţiilor iniţiale este „uitat” rapid.
Principalul neajuns al algoritmilor din această categorie constă în instabilitatea
numerică pe care o prezintă toţi atunci când   1 . Dacă implementarea algoritmilor se face
cu precizie finită, relaţiile matematice exacte utilizate în descrierea lor pot conduce la
apariţia de probleme numerice.
Există doi căi de a obţine stabilizarea algoritmilor RLS rapizi în formă directă. Într-o
primă abordare, se încearcă identificarea precursorilor comportării nesatisfăcătoare a algorit-
mului şi utilizarea de operaţiuni de salvare adecvate pentru restabilirea funcţionării normale
a algoritmului (Cioffi şi Kailath 1984). O variabilă utilizată la salvare este
 m1  n  Emb  n  1
m  n  
 m  n Emb  n
care satisface condiţia 0  m  n  1 .
În cea de a doua abordare, este exploatat faptul că unele mărimi utilizate de algoritm pot
fi calculate în două moduri distincte. De exemplu, atât emb  n cât şi  m  n se pot calcula
atât conform definiţiei cât şi prin recursii de ordin. În aceste situaţii, diferenţa dintre valorile
obţinute furnizează o măsură a erorilor numerice, ce permite schimbarea dinamicii sistemu-
lui de propagare a erorilor şi stabilizarea algoritmului.

12.3 Algoritmi LS rapizi pentru structuri

lattice
12.3.1 Recursii după ordin în predictoare LS
Vom deduce în contextul metodei celor mai mici pătrate ecuaţiile de recursie după ordin ale
predicţiei lineare. Problema a fost rezolvată în contextul predicţiei optimale în Capitolul 5
prin algoritmul Levinson-Durbin, reluată apoi în algoritmului LMS-GAL din Capitolul 8,
dar în estimarea LS, soluţia ei capătă accente particulare.
În cazul filtrului erorii de predicţie înapoi, pentru a dezvolta o ecuaţie de recursie după
ordin se porneşte de la ecuaţiile normale ale predicţiei înapoi (12.27):
380 ALGORITMI RLS RAPIZI - 12

ˆ  n c  n  rˆ bH  n
R m m m
(12.60)
ˆ  n c  n  rˆ bH  n
R m 1 m 1 m 1

Întrucât Rˆ  n este conţinută în partiţionarea lui Rˆ  n , vom verifica dacă şi vectorii din
m m 1

partea dreaptă a ecuaţiilor (12.60) se bucură de aceiaşi proprietate. Utilizând partiţia infe-
rioară a vectorului um1  n din (12.1), se poate scrie
n u  i   *  rˆmb1  n 
rˆmb 1    n i   u i  m  1  b  (12.61)
i 1 u m i  1 rˆm  n  1
ceea ce determină o partiţie ce include vectorul dorit rˆmb  n întârziat cu un eşantion ca
urmare a invarianţei la deplasare a lui u m  n . Vom exploata această partiţionare, utilizând
ˆ
inversarea matricii R partiţionată inferior-dreapta prin lema de partiţionare (12.37)
m1

0 0mH  1 1 
ˆ 1  n  
R     1 am  n
H
(12.62)
R m  n Em  n  m  
m 1
0m ˆ 1 f
a n

unde din (12.32): a m  n  R

ˆ 1  n  1rˆ f  n
m m (12.63)
sunt coeficienţii filtrului erorii de predicţie înainte optim în sens LS iar valoarea minimă a
sumei pătratelor erorii Emf  n este extrasă din Tabelul 12.1:
ˆ  n
det R
Emf  n  m 1
 Eu  n  rˆmfH  n am  n (12.64)
det R  n  1
ˆ
m

Înlocuind (12.62) şi (12.63) în

cm1  n  R
ˆ 1  nrˆ b  n
m 1 m 1

se obţine ecuaţia de recursie

0  1 
cm 1  n      mb  n   (12.65)
cm  n  1 am  n
 mb  n
unde  mb  n  (12.66)
Emf  n
şi mb  n rˆmb1  n  amH  n rˆmb  n  1 (12.67)
sunt, în condiţiile utilizării unor notaţii similare celor utilizate în Capitolul 5, coeficientul de
reflexie înapoi (  m ), respectiv coeficientul de corelaţie parţială înapoi (  0 ).
Ecuaţia de recursie după ordin a filtrului erorii de predicţie înainte se obţine printr-o
procedură similară celei utilizate anterior. În acest caz se foloseşte partiţia inferioara a vecto-
rului um1  n din (12.1), astfel că:
 12.3 Algoritmi LS rapizi pentru structuri lattice 381

n u i  1  * rˆmf  n 
rˆmf 1  n    n i  m  u  i   f  (12.68)
i 0 u i  m  1  rˆm1  n
Pentru a scrie ecuaţia de recursie de ordin a coeficienţilor am  n , utilizăm ultima relaţie
împreună cu formula de inversare matricială (12.36) şi soluţia ecuaţiilor normale (12.63). Se
obţine:
a  n c  n  1
am 1  n   m    mf  m  (12.69)
0  1 
 mf  n
unde  mf  n  (12.70)
Emb  n  1
şi mf  n rˆmf1  n  cmH  n  1rˆmf  n (12.71)
au semnificaţii similare parametrilor din ecuaţiile (12.66) şi (12.67).
Lema Burg (Burg 1975) utilizează egalitatea rˆmf1  n  rˆmb*1  n pentru a face următoarea
simplificare
 mf  n  rˆmf1  n  cmH  n  1 R
ˆ  n  1 R
m
ˆ 1  n  1 rˆ f  n
m m

 rˆmbH  n  1 am  n  rˆmb*1  n   mb*  n 

Pentru simplificarea notaţiilor, vom defini coeficientul de corelaţie parţială prin:
m  n mf  n  mb*  n (12.72)
Ecuaţiile de recursie de ordin Levinson-Durbin (12.65) şi (12.69) permit definirea struc-
turii lattice a filtrelor erorii de predicţie care, în raport cu configuraţia de filtru FIR adaptiv,
are avantajul de a fi modulară, recursivă după ordin şi furnizează simultan estimări ale erorii
de predicţie înainte şi înapoi. Într-o structură de filtrare FIR expresiile erorilor de predicţie
aposteriori sunt (vezi Tabelul 12.2)
 mf  n  u  n  amH  n um  n  1
(12.73)
 mb  n  u  n  m  cmH  n um  n
Utilizăm (12.1), (12.69) şi (12.73) pentru a scrie:
  a  n  c  n  1  u m  n  1 
H

 f
 n  u  n    m    mf  m    
  u  n  1  m
m 1
 0  1
 u  n   a mH  n  u m  n  1   mf *  cmH  n  1 u m  n  1  u  n  1  m 

sau  mf 1  n   mf  n   mf *  n mb  n  1 (12.74)

Similar, utilizând (12.1), (12.65) şi (12.73) se obţine:
 mb 1  n   mb  n  1   mb*  n mf  n  1 (12.75)
382 ALGORITMI RLS RAPIZI - 12

Figura 12.2 Structura lattice a filtrului erorii de predicţie în sens LS.

Relaţiile (12.74) şi (12.75) sunt executate pentru m  0,1, , M  2 pornind de la valorile

iniţiale  0f  n   0b  n  u  n şi sunt efectuate de structura lattice din Figura 12.2 care
furnizează erorile de predicţie înainte şi înapoi pentru semnalul de intrare u  n .
Relaţii de recursie după ordin pot fi stabilite şi pentru ceilalţi parametri ce intervin în
ecuaţiile Levinson-Durbin. Pentru a calcula valoarea minimă a funcţiei de cost (energia
minimă a erorii) pentru predicţia liniară înainte, Emf  n făcând apel la ecuaţiile (12.64),
(12.68), (12.69) şi (12.71) se obţine
Emf 1  n  Eu  n   rˆmfH1  n  a m 1  n 
  a  n  c  n  1 
 Eu  n   rˆmfH  n  rˆmf*1  n    m    mf  n   m  
 0  1 
 Eu  n   rˆmfH  n  a m  n    mf  n   rˆmfH  n  c m  n  1  rˆmf*1  n 

 m  n
2

sau: E f
 n  E  n    n   n  E  n 
f f * f
(12.76)
Emb  n  1
m 1 m m m m

Procedând de manieră similară, se obţine:

m  n
2

E b
 n  E  n  1   n m n  E n  1 
b b b
(12.77)
Emf  n
m 1 m m m

12.3.2 Algoritmi rapizi de predicţie lattice

Algoritmul LRLS (Lattice RLS) aposteriori (Ciochină şi Negrescu 1999) este conceput pe
baza schemei modulare din Figura 12.2 care calculează simultan valorile erorilor de predic-
ţie înainte şi înapoi aposteriori  mf  n şi  mb  n prin recursiile de ordin şi timp (12.74) şi
(12.75). Ecuaţiile (12.70) şi (12.66) definesc coeficienţii de reflexie ai structurii lattice
 m  n  m*  n
 mf  n   ,  mb  n  
Emb  n  1 Emf  n  1
unde coeficientul de corelaţie parţială  m  n se calculează cu relaţia (12.71):
m  n  cmH  n  1 rˆmf  n  rˆmf1  n (12.78)
 12.3 Algoritmi LS rapizi pentru structuri lattice 383

Pentru a completa definirea algoritmului sunt necesare ecuaţii de recursie de timp ale
energiilor minime de eroare Emf  n şi Emb  n precum şi ale coeficientului de corelaţie parţi-
ală  m  n . Ecuaţiile de recursie pentru primii doi parametri pot fi extrase din Tabelul 12.2:
Emf  n   Emf  n  1  emf  n  mf *  n 
(12.79)
Emb  n   Emb  n  1  emb  n mb*  n 
Pentru a stabili o recursie de timp pentru  m  n se porneşte de la relaţia de definiţie
(12.78) şi se folosesc în continuare pentru toate mărimile implicate formule de recurenţă în
timp. Se rearanjează şi se recombină termenii astfel:
 m  n  1  cmH  n  rˆmf  n  1  rˆmf1  n  1
 c mH  n   rˆmf  n   u m  n  u *  n  1    rˆmf1  n   u  n  m  u *  n  1
 c mH  n  rˆmf  n    mb  n  u *  n  1   rˆmf1  n 
   c mH  n  1  gmH  n  mb  n  rˆmf  n    rˆmf1  n    mb  n  u *  n  1
  m  n    mb  n   u *  n  1   gmH  n  rˆmf  n 


  m  n    mb  n  u *  n  1  u mH  n  R
ˆ 1  n  1 rˆ f  n 
m m 
  m  n    mb  n   u *  n  1  u mH  n  a  n 
  m  n    mb  n  emf *  n  1
Ultima relaţie reprezintă recursia dorită, pentru că implementarea ecuaţiei
 m  n   m  n  1   mb  n  1 emf *  n
1 (12.80)
  m  n  1   mb  n  1 mf *  n 
 m  n  1
este fezabilă, în membrul drept al acesteia găsindu-se mărimi deja cunoscute.
Pentru completarea algoritmului aposteriori este nevoie de o relaţie de recursie după
ordin pentru factorul de conversie  M  n . Se foloseşte în acest scop ecuaţia (12.55) stabilită
pentru algoritmul FTF. O organizare detailată a algoritmului lattice RLS aposteriori, de
complexitate a 17M operaţiuni aritmetice pe recursie de timp (Ciochină şi Negrescu 1999)
este prezentată în Tabelul 12.5. Iniţializarea algoritmului se face pornind de la definiţiile
mărimilor corespunzătoare. Condiţia  0  n  1  1 rezultă din relaţia (12.54) iar constanta
pozitivă  trebuie să asigure inversabilitatea matricii de corelaţie R ˆ  n .
Dacă în locul erorilor aposteriori se folosesc erori apriori, se obţin următoarele
recursii
e0f  n  e0b  n  u  n
384 ALGORITMI RLS RAPIZI - 12

emf 1  n  emf  n   mf *  n  1 emb n  1 (12.81)

emb 1  n  emb  n  1   mb* n  1 emf n (12.82)
După cum este de aşteptat, structura predictorului apriori utilizează vechile estimări LS ale
parametrilor filtrului lattice. Pornind de la recursii, poate fi dezvoltat algoritmul lattice RLS
apriori prezentat în Tabelul 12.6, cu o complexitate aritmetică echivalentă cu cea a algorit-
mului aposteriori (Manolakis, ş.a. 2005).

12.4 Algoritmi LS rapizi pentru structuri

lattice-scară
12.4.1 Filtre FIR cu recursie după ordin
În acest paragraf vom încerca să extindem rezultatele obţinute în cazul filtrelor erorii de
predicţie lineară şi care au condus la structura lattice la cazul mai general al filtrelor FIR
adaptive. În primul rând vom stabili un mecanism de calcul recursiv după ordin al parame-
trilor unui filtru FIR adaptiv în sens LS. Se presupune că la momentul de timp n au fost deja
calculaţi parametrii filtrulul FIR în sens LS w m  n specificaţi prin ecuaţia normală
w m  n  R
ˆ 1  n pˆ  n
m m (12.83)
şi expresia minimului energiei de eroare la ieşirea filtrului
Em  n  Ed  n  pˆ mH n w m n (12.84)
În ultimele două expresii, Ed  n reprezintă energia semnalului dorit d  n iar pˆ m  n este
vectorul de intercorelaţie
n
pˆ m  n    n  j u m  j  d *  j  (12.85)
j 0

Scopul pe care îl avem în vedere este să calculăm filtrul adaptiv în sens LS

w  n  R ˆ 1  npˆ  n
m 1 m 1 m 1 (12.86)
pornind de la valoarea cunoscută w m  n prin utilizarea unei proceduri de calcul recursive
după ordin. Vom utiliza pentru început ca şi în paragraful 12.3.1 proprietăţile de invarianţă
la deplasare ale vectorului de date u m  n ce conduc la stabilirea unei partiţii convenabile
pentru vectorul pˆ m1  n :
n u  j   * pˆ m  n 
pˆ m1  n    n  j  m  d  j    (12.87)
j 0 u  j  m  pˆ m 1  n
În aceste condiţii, pentru rezolvarea recursivă a ecuaţiei (12.86) vom face apel la inversarea
ˆ 1  n prin lema de partiţionare (12.36):
matricii de corelaţie R m 1
 12.4 Algoritmi LS rapizi pentru structuri lattice-scară 385
Tabelul 12.5 Organizarea calculelor algoritmului RLS lattice aposteriori.

Ecuaţie Calcule
Iniţializare de timp ( n  0 )
Emf  1  Emb  1    0 0  m  M  1
 m  1  0,  mb  1  0 0  m  M  1
Iniţializare de ordin
(a)   n    n  u n , 0 n  1  1
0
f b
0

Elemente lattice: m  0,1, , M 1

 m  n   m  n  1 
 b
m  n  1  nf*
m
(b)
 m  n  1
 mf *  n
2

(c) Ef
 n   E  n  1 
f
m m
 m  n  1
 mb  n
2

(d) E  n    E  n  1 
b b
m m
 m  n  1
 m  n
(e)  mf  n  
Emb  n  1
 m*  n
(f)  mb  n  
Emf  n  1
(g)  mf 1  n   mf  n   mf *  n mb  n  1
(h)  mb 1  n   mb  n  1   mb*  n mf  n
 mb  n
2

(i)  m 1  n   m  n 
Emb  n

ˆ 1  n   R m  n 0m   1 cm  n c H  n 1
 ˆ 1 
R   m  (12.88)
0  Em  n 1
m 1 H b
 0m 
unde c m  n   R
ˆ 1  n rˆ b  n
m m (12.89)
reprezintă soluţia în sens LS a predicţiei liniare înapoi iar
ˆ  n
det R
Emb  n  m 1
 Eu  n  m  rˆmcH  n cm  n (12.90)
det R m  n
ˆ

este valoarea minimă a energiei erorii de predicţie înapoi. Trebuie remarcat că cm  n este
estimatorul optim în sens LS pentru observaţia suplimentară u  n  m ce este utilizată de
filtrul adaptiv de ordin m  1 , w m1  n . Înlocuind relaţiile (12.87) şi (12.88) în ecuaţia
normală (12.86), se obţine:
386 ALGORITMI RLS RAPIZI - 12
Tabelul 12.6 Organizarea calculelor algoritmului RLS lattice apriori.

Ecuaţie Calcule
Iniţializare de timp ( n  0 )
Emf  1  Emb  1    0 0  m  M  1
 m  1  0, emb  1  0 0  m  M  1
Iniţializare de ordin
(a) e0f  n  e0b  n  u  n , 0 n  1  1
Elemente lattice: m  0,1, ,M 2
(b) ef
m 1n  e n   n 1 e n 1
f
m
f*
m
b
m

(c) e  n  emb  n  1   mb*  n  1 emf n

b
m 1

(d) m  n  m  n  1   m  n  1 emb n  1 emf * n

Emf  n   Emf  n  1   m  n  1 emf *  n
2
(e)

Emb  n   Emb  n  1   m  n  1 emb  n

2
(f)
 m  n
(g)  mf  n  
Emb  n  1
 m*  n
(h)  mb  n  
Emf  n  1

emb 1  n
2

(i)  m  n   m 1  n 
Emb 1  n

 w  n c  n
w m1  n   m    mw  n  m  (12.91)
0  1 
 mw  n
unde  mw  n (12.92)
Emb  n
şi mw  n cmH  n pˆ m  n  pˆ m1  n (12.93)
În concluzie, dacă coeficienţii filtrului erorii de predicţie înapoi cm  n sunt cunoscuţi,
se pot determina coeficienţii filtrului adaptiv w m1  n prin recursia de ordin (12.91).

12.4.2 Structura de filtrare lattice-scară

Continuăm demersul început în paragraful anterior prin stabilirea unei recursii după ordin
pentru eroarea aposteriori a filtrului FIR definit prin relaţia (12.86):
 m1  n  d  n  wmH1  n um1  n (12.94)
Pentru a calcula eroarea prin recursie, înlocuim relaţiile (12.1), (12.91) în (12.94) şi scriem
 12.4 Algoritmi LS rapizi pentru structuri lattice-scară 387

Figura 12.3 Structura lattice-scară de predicţie liniară şi filtrare în sens LS.

  w  n  c  n   u  n  
H

 m 1  n  d  n     m    mw  n   m    m 
 0  1    u  n  m 
 d  n   w mH  n  u m  n    mw*  n   u  n  m   cmH  n  u m  n 
În ultima paranteză a expresiei de mai sus poate fi identificată eroarea aposteriori a predicto-
rului linear înapoi de ordinul m,  mb  n astfel că recursia după ordin a erorii aposteriori în
sens LS a filtrului FIR poate fi calculată prin ecuaţia
 m1  n   m  n   mw* mb  n (12.95)
care este executată pentru m  0,1, , M  1 cu  0  n  d  n .
Ecuaţia (12.95) împreună cu ecuaţiile de recursie după ordin ale erorilor de predicţie
lineară (12.74) şi (12.75) permite implementarea completă a unui filtru adaptiv în sens LS
sub forma structurii lattice-scară din Figura 12.3. Partea lattice a filtrului furnizează eroarea
aposteriori de predicţie înapoi  mb  n , m  0, M  1 implementând ecuaţiile (12.74) şi
(12.75) în timp ce partea scară a filtrului implementează recursiv după ordin relaţia (12.95),
furnizând erorile optime în sens LS ale filtrului FIR (12.86),  m  n , m  0,1, , M 1 . De
remarcat că setul de coeficienţi ai structurii trebuie recalculat la fiecare moment de timp n.

12.4.3 Algoritmi RLS lattice-scară

Algoritmul rapid lattice-scară aposteriori este conceput pe structura de filtrare din Figura
12.3. La fiecare moment de timp n algoritmul calculează recursiv după ordin elementele
celor două componente ale structurii: partea lattice care realizează predicţiile lineare înainte
şi înapoi în sens LS ale semnalului de intrare u  n şi partea scară care acţionează în sensul
minimizării energiei erorii  m  n , m  1,2, , M de la ieşirea filtrului adaptiv.
Partea lattice a algoritmului lattice-scară aposteriori care se referă la calculul erorilor de
predicţie înainte şi înapoi aposteriori  mf  n şi  mb  n constituie algoritmul LRLS aposte-
riori dezvoltat în paragraful 12.3.2 şi care este prezentat în Tabelul 12.5. Ecuaţiile care
388 ALGORITMI RLS RAPIZI - 12

corespund părţii scară a algoritmului sunt în primul rând recursia după ordin (12.95) a erorii
de filtrare aposteriori  m1  n cu condiţia iniţială  0  n  u  n . Apoi sunt necesari parame-
trii reţelei în scară,  mw  n care sunt definiţi prin relaţia (12.92)
 mw  n
 mw  n 
Emb  n
Valoarea energiei erorii de predicţie înapoi Emb  n din (12.92) este stabilită de algorit-
mul LRLS prin recursia de timp (12.79), în schimb pentru coeficientul de corelaţie parţială
 mw  n definit prin (12.93) se dezvoltă recursia de timp astfel:
 mw  n  1  cmH  n  1 pˆ m  n  1  pˆ m 1  n  1
 c mH  n  1   pˆ m  n   u m  n  1 d *  n  1    pˆ m 1  n   u  n  m  d *  n  1
  c mH  n  1 pˆ m  n    mb  n  d *  n  1   pˆ m 1  n 
   c mH  n   g mH  n  1  mb  n  1 pˆ m  n    pˆ m 1  n    mb  n  1 d *  n  1
  mw  n    mb  n  1  d *  n  1   gmH  n  1 pˆ m  n 


  mw  n    mb  n  1 d *  n  1  u mH  n  1 R
ˆ 1  n  pˆ  n 
m m 
  mw  n    mb  n  1  d *  n  1  u mH  n  1 w m  n 
  m  n    mb  n  1 em*  n  1
Drept urmare, ecuaţia de calcul prin recursie temporală al coeficientului de corelaţie parţială
a filtrului adaptiv este
 mw  n   mw  n  1   mb  n em*  n
1 (12.96)
  mw  n  1   mb  n m*  n
 m  n
În concluzie, algoritmul rapid RLS lattice-scară aposteriori constă din algoritmul LRLS
prezentat în Tabelul 12.5 completat cu ecuaţiile suplimentare din Tabelul 12.7. Complexita-
tea algoritmului este de aproximativ 20M operaţii aritmetice pe fiecare recursie de timp
(Manolakis, ş.a. 2005).
Există şi pentru structura de filtrare adaptivă lattice-scară ca şi în cazul predicţiei lineare
lattice o variantă apriori a algoritmului LRLS. În acest ultim caz structura calculează la
fiecare recursie de timp eroarea apriori de filtrare em  n definită prin ecuaţia de recursie
după ordin:
em1  n  em  n   mw*  n  1 emb n, 1  m  M (12.97)
şi e0  n  d  n . Tabelul 12.8 prezintă ecuaţiile suplimentare care sunt adăugate
algoritmului lattice RLS apriori din Tabelul 12.6 pentru a-l transforma în algoritmul rapid
RLS lattice-scară apriori.
 12.4 Algoritmi LS rapizi pentru structuri lattice-scară 389
Tabelul 12.7 Completările la algoritmul LRLS din Tabelul 12.5 care
definesc algoritmul rapid RLS lattice-scară aposteriori.
Ecuaţie Calcule
Iniţializare de timp ( n  0 )
mw  1  0, 0  m  M  1
Iniţializare de ordin
(a’)  0  n  d  n
Elemente lattice: m  0,1, , M 1
(b) - (i)
Elemente scară: m  0,1, , M 1
(j)  w
mn   n 1   n n m n
w
m
b
m
*
m

 w  n
(i)  mw  n  mb
Em  n 
(k)  m1  n   m  n   mw*  n mb n

12.4.4 Algoritmi RLS lattice-scară cu reacţie pe

eroare
Algoritmi rapizi lattice-scară care au făcut obiectul paragrafului precedent actualizează în
primă instanţa coeficienţii de corelaţie parţială  m  n şi  mw  n şi valorile energiei de
eroare minimă Emf  n respectiv Emb  n iar apoi calculează coeficienţii filtrului LS lattice-
scară prin împărţire. Vom dezvolta în cele ce urmează doi algoritmi echivalenţi din punct de
vedere algebric care rezolvă aceiaşi problemă LS prin calculul recursiv direct al coeficienţi-
Tabelul 12.8 Completările la algoritmul LRLS din Tabelul 12.6 care
definesc algoritmul rapid RLS lattice-scară apriori.

Ecuaţie Calcule
Iniţializare de timp ( n  0 )
m  1  0, 0  m  M  1
w

Iniţializare de ordin
(a’) e0  n  d  n
Elemente lattice: m  0,1, , M 1
(b) - (i)
Elemente scară: m  0,1, ,M 2
(j)  w
mn   n 1  m n e n em* n
w
m
b
m

 w  n
(i)  mw  n  mb
Em  n 
(k) em1  n  em  n   mw*  n  1 emb  n
390 ALGORITMI RLS RAPIZI - 12

lor lattice-scară. Algoritmii introduşi în Ling, ş.a. (1986), au proprietăţi numerice mai bune
decât algoritmii lattice-scară original atunci când implementarea se face cu precizie
numerică finită. Vom examina pentru început varianta apriori a algoritmului.
Stabilim relaţia de actualizare a coeficientului  mw  n , pornind de la ecuaţiile (12.92) şi
(12.96):
 mw  n  mw  n  1 Emb  n  1  M  n  emb  n  em*  n 
 w
 n   
Emb  n  Emb  n  1 Emb  n  Emb  n 
m

(12.98)

1
Emb  n 
  n  1  E n  1   n e n e n
w
m
b
m M
b
m
*
m

şi înlocuim  Emb  n  1  Emb n   M n emb n emb* n

pentru a obţine
 M  n emb  n
 w
m  n    n  1 
w
m
Emb  n
 e n   n  1 e n
*
m
w
m
b*
m

sau, prin substituţie din (12.97):

 M  n emb  n em* 1  n
 mw  n   mw  n  1  (12.99)
Emb  n
Ecuaţia (12.99) permite calculul recursiv direct al coeficienţilor reţelei în scară. Formule
similare directe se scriu şi pentru coeficienţii de reflexie ai părţii lattice a structurii
(Manolakis, ş.a. 2005). Aceste ecuaţii de recursie constituie elementul distinct al algoritmu-
lui RLS lattice-scară apriori cu reacţie pe eroare prezentat în detaliu în Tabelul 12.9.
Trebuie remarcat că, în primul rând, pentru a calcula eroarea de ordin m  1 , em1  n
este utilizat coeficientul  mw  n  1 conform relaţiei (12.97), iar apoi se utilizează această
eroare pentru a actualiza valoarea coeficienţilor prin relaţia (12.99). Această actualizare are
o structură de tip reacţie negativă, ceea ce explică denumirea de algoritm cu reacţie pe
eroare.
Algoritmul RLS lattice-scară cu reacţie pe eroare are şi o variantă aposteriori, care
poate fi dedusă uşor (Manolakis, ş.a. 2005). Simulările efectuate de Ling, ş.a. (1986) au
arătat că în condiţiile utilizării unei precizii numerice finite, algoritmii cu actualizare directă
a coeficienţilor structurii lattice-scară au proprietăţi numerice superioare algoritmilor ce
realizează indirect actualizarea acestora.

12.4.5 Algoritmi RLS lattice-scară cu rotaţii Givens

Obiectul paragrafului de faţă este studiul implementării rotaţiilor Givens (vezi paragraful
9.3.3), cu sau fără extragere de rădăcină pătrată, la realizarea algoritmilor RLS rapizi lattice-
scară. Ca şi ceilalţi algoritmi din această categorie, algoritmii bazaţi pe rotaţiile Givens utili-
 12.4 Algoritmi LS rapizi pentru structuri lattice-scară 391

zează invarianţa la deplasare a datelor de intrare în scopul reducerii complexităţii de la

O  M 2  calcule pe iteraţie de timp la O  M  calcule (Ling 1991).
Începem, definind pentru structura lattice-scară din Figura 12.3 erorile normalizate
unghiular prin
em  n em  n m  n  em  n  m n (12.100)

emf  n emf  n mf  n  emf  n  m  n  1 (12.101)

emb  n emb  n mb  n  emb  n  m  n (12.102)

Aceste erori sunt media geometrică a erorilor corespunzătoare apriori şi aposteriori, iar
Tabelul 12.9 Organizarea calculelor algoritmului RLS lattice-scară apriori
cu actualizare directă a coeficienţilor prin reacţie pe eroare.
Ecuaţie Calcule
Iniţializare de timp ( n  0 )
Emf  1  Emb  1    0 0  m  M  1
 mf  1   mb  1  0
emb  1  0  mw  1  0
Iniţializare de ordin
(a) e  n  e  n  u  n , e0  n  d n , 0 n  1
0
f b
0

Elemente lattice: m  0,1, ,M 2

(b) ef
m 1n  e n   n 1 e n 1
f
m
f*
m
b
m

(c) e  n  emb  n  1   mb*  n  1 emf n

b
m 1

Emf  n   Emf  n  1   m  n  1 emf  n

2
(d)

Emb  n   Emb  n  1   m  n  1 emb  n

2
(e)
 M  n  1 emb  n  1 emf *1  n
(f)  mf  n   mf  n  1 
Emb  n  1
 M  n  1 emf  n emb*1  n
(g)  mb  n   mb  n  1 
Emf  n

 m  n emb  n
2

(h)  m 1  n   m  n 
Emb  n
Elemente scară: m  0,1, , M 1
(i) em1  n  em  n   mn 1 e n
w* b
m

  n emb  n em* 1  n
(j)  mw  n   mw  n  1  m
Emb  n
392 ALGORITMI RLS RAPIZI - 12

denumirea lor face referire la comentariul pe care-l facem asupra relaţiei (10.23) din Capito-
lul 10 asupra interpretării lui  m  n drept variabilă unghiulară. De fapt nu este nevoie să
facem distincţie între algoritmi apriori sau aposteriori dacă vom formula problema estimării
în sens LS în funcţie de aceste variabile.
Pentru a stabili ecuaţiile de recursie după ordin pentru aceste variabile, considerăm
ecuaţia lattice a erorii de predicţie înainte apriori (12.81) şi definiţiile erorilor normalizate
unghiular, pentru a scrie
 m1  n  1 f  *  n  1  m 1  n  1 emb  n  1
emf 1  n  em  n  m
 m  n  1 Emb  n  2  m  n  1 Emb  n  2
sau, utilizând relaţia (12.58):
 Emb  n  2  m*  n  1 emb  n  1
emf 1  n  emf  n   (12.103)
Emb  n  1 Emb  n  2 Emb  n  1
Definind următoarele mărimi
 Emb  n  1
cmb  n (12.104)
Emb  n

emb  n
smb  n (12.105)
Emb  n
 m*  n
şi  mf  n    mf  n Emb  n  1 (12.106)
E  n  1
b
m

ecuaţia (12.103) se rescrie astfel:

emf 1  n  cmb  n  1 emf n   smb n  1 mf n  1 (12.107)
Ultima ecuaţie face recursia de ordin pentru eroarea de predicţie înainte normalizată
unghiular.
Pentru a deduce în continuare ecuaţia de recursie după ordin a coeficientului de reflexie
normalizat  mf  n , pornim de la ecuaţia (d) din Tabelul 12.6:
m  n  m  n  1   m n  1 emb n  1 emf * n (12.108)
şi utilizând (12.106), (12.101) şi (12.102), se poate scrie
 Emb  n  2 emb*  n  1
 mf  n   mf  n  1  emf  n
Emb  n  1 E  n  1
b
m

sau, în final cu ajutorul ecuaţiilor (12.104) şi (12.105):

 mf  n   cmb  n  1 mf  n  1  smb*  n  1 emf n (12.109)
 12.4 Algoritmi LS rapizi pentru structuri lattice-scară 393

Reluăm, în continuare, pentru eroarea de predicţie înapoi normalizată, procedura de mai

sus. Se utilizează ecuaţia de recursie a erorii apriori (12.82) şi ecuaţiile de definiţie ale erori-
lor normalizate unghiular:
 m1  n b  m  n  1  m1  n emf  n 
eb
 n  em  n  1 
 m  n  1 Emf  n  1  m  n  1 Emf  n  1
m 1

sau, dacă facem apel la (12.58)

 Emf  n  1  m  n  1 emf  n 
eb
 n  e  n  1 
b
 (12.110)
Emf  n
m 1
Emf  n  1 Emf  n
m

Apoi, definim următoarele mărimi

 Emf  n  1
c f
 n (12.111)
Emf  n
m

emf  n 
smf  n (12.112)
Emf  n 
 m  n
şi  mb  n    mb  n Emf  n (12.113)
E  n
b
m

pentru a obţine din ecuaţia (12.110) recursia de ordin a erorii de predicţie înapoi normalizată
unghiular emb 1  n :
emb 1  n  cmf  n emb n  1   smf n mb* n  1 (12.114)
În acelaşi timp, pentru recursia lui  mb  n , ca şi în cazul ecuaţiei (12.109), prin combinarea
relaţiilor (12.108) şi (12.111) până la (12.113) se poate scrie:
 mb*  n   cmf  n mb*  n  1  smf * n emb n  1 (12.115)
Ecuaţii de recursie similare pot fi deduse în acelaşi mod pentru partea scară a filtrului
adaptiv. În acest caz, utilizând expresia erorii de filtrare apriori (12.97), definiţiile erorilor
normalizate unghiular şi relaţia (12.58), vom scrie:
 Emb  n  1  mw*  n  1 emb  n 
em1  n  em  n  
Emb  n Emb 1  n  1 Emb  n 

sau em1  n  cmb  n em n   smb n mw* n  1 (12.116)

 mw  n
unde  mw  n   mw  n Emb  n (12.117)
E  n
b
m

este coeficientul normalizat al părţii în scară a reţelei. Coeficientul poate fi recalculat cu:
394 ALGORITMI RLS RAPIZI - 12

 mw  n   cmb  n mw n  1  smb n em* n (12.118)

care poate fi obţinută ca şi (12.109) sau (12.115) prin utilizarea relaţiei (12.96) şi a
definiţiilor aferente.
Următorul pas în enunţarea algoritmului bazat pe rotaţii Givens constă în normalizarea
energiilor de eroare de predicţie minime:
Emf  n Emf  n şi Emb  n Emb  n (12.119)
Ecuaţiile de recursie în timp a variabilelor de energie normalizate sunt deduse din ecuaţiile
(12.79):
Emf  n   cmf  n Emf  n  1  smf  n  emf *  n 
(12.120)
Emb  n   cmb  n Emb  n  1  smb  n  emb*  n 
dar ecuaţiile de mai jos, deduse tot din (12.79), sunt mai convenabile pentru realizarea
recursiei în timp:

 
12
Emf  n    Emf  n  1  emf  n  
2 2

 
(12.121)
 
12
b 
E  n    Em  n  1  em  n 
b
2
b 2

m  
În acest moment, avem la dispoziţie formularea completă prin erori normalizate unghiu-
lar a ecuaţiilor de recursie în sens LS pentru o structură lattice-scară. Pentru a pune în evi-
denţă mai bine sensul şi semnificaţia acestor recursii, vom exprima aceste ecuaţii sub formă
matricială astfel:
emf 1  n cmb  n  1 smb  n  1 em  n 
f

 f 
  b*    (12.122)
 m  n    sm  n  1 cm  n  1   m  n  1
b f

emb 1  n cmf  n smf  n  em  n  1 

b

 b*    f*    (12.123)
 m  n    sm  n cm  n   m  n  1
f b*

em1  n cmb  n smb  n em  n 

 w    b*   (12.124)
 m  n   sm  n cm  n    m  n  1
b w

Din ecuaţiile matriciale de mai sus trebuie remarcat că recursiile parametrilor predictorului
înainte şi ale parametrilor reţelei în scară se fac cu aceiaşi matrice pătrată întârziată cu un
pas. Faptul că în matricile din ecuaţii semnul minus are poziţii diferite, datorită utilizării de
semne diferite în definiţiile lui  mf  n şi  mb  n , nu este relevant. În plus, se poate arăta
imediat că:
cmf  n  smf  n   1
2 2

(12.125)
cmb  n   smb  n  1
2 2
şi
 12.4 Algoritmi LS rapizi pentru structuri lattice-scară 395

ceea ce conduce la observaţia că matricile pătrate din setul de ecuaţii (12.122)-(12.124) sunt
matrici de rotaţie Givens. În concluzie, s-a obţinut o formulare a algoritmului LS lattice-
scară care actualizează erorile normalizate unghiular şi setul de coeficienţi de reflexie
normalizaţi ai structurii lattice-scară prin rotaţii Givens. O ecuaţie de rotaţie Givens poate fi
scrisă şi pentru minimul energiei de eroare înapoi normalizate Emb  n . Astfel, dacă pornim
de la (12.121) şi definiţiile lui cmb  n şi smb  n , vom scrie:

 Emb  n cmb  n smb*  n    Emb  n  1

  b  b  (12.126)
   sm  n cm  n  em  n
b
0 
Ultima ecuaţie ne arată faptul că putem utiliza rotaţia Givens în predictorul linear înapoi
pentru a actualiza valoarea energiei normalizate Emb  n . O transformare similară poate fi
scrisă şi pentru Emf  n . Totuşi, recursiile pentru valorile energiilor sunt, de obicei, realizate
cu ecuaţiile (12.121).
Versiunea fără extragere de rădăcină pătrată a algoritmului RLS lattice-scară cu rotaţii
Givens constă într-o modificare simplă a algoritmului apriori RLS lattice-scară cu reacţie pe
eroare. În acest scop, utilizând ecuaţia (12.98), avem
 Emb  n  1  M  n emb  n em*  n
 mw  n   mw  n  1  em*  n
Emb  n Emb  n
În continuare, se definesc mărimile:
 Emb  n  1
cmb  n  cmb  n 
2
(12.127)
E  n
b
m

 m  n emb  n
şi smb  n (12.128)
Emb  n
pentru a obţine ecuaţia de actualizare a parametrilor părţii scară a structurii lattice-scară sub
forma unei rotaţii Givens:
 mw  n  cmb  n mw  n  1  smb  n em* n (12.129)
Similar, utilizând ecuaţiile de recursie pentru parametrii lattice ai algoritmului apriori cu
reacţie pe eroare, se obţin ecuaţiile de actualizare:
 mf  n  cmb  n  1 mf  n  1  smb  n  1 emf * n (12.130)
şi  mb  n  cmf  n mb n  1  smf n emb* n  1 (12.131)
 Emf  n  1
cmf  n  cmf  n 
2
unde (12.132)
 n Ef
m

 m  n  1 emf  n
şi sm  n
f
(12.133)
Emf  n
Tabelul 12.10 Organizarea calculelor algoritmului de filtrare adaptivă RLS lattice-scară cu rotaţii Givens. 396 ALGORITMI RLS RAPIZI - 12
 ALGORITMI RLS RAPIZI Probleme 397

Figura 12.4 Schema bloc a celulei RLS lattice-scară cu rotaţii Givens.

Cercurile reprezintă elementele ce calculează parametrii
de rotaţie iar pătratele elementele care execută rotaţiile.
sunt parametrii de rotaţie a predictorului înainte. Aceste recursii reprezintă baza algoritmului
LS lattice-scară cu rotaţii Givens fără extragere de rădăcină pătrată.
Tabelul 12.10 prezintă organizarea calculelor în cazul algoritmului LS lattice-scară cu şi
fără extragere de rădăcină pătrată. Varianta cu rădăcină pătrată se iniţializează ca de obicei
cu Emf  1  Emb  1    0 , e0f  n  e0b  n  u  n , e0  n  d  n , 0  n  1 şi toate
celelalte variabile au valori initiale nule. Algoritmul fara extragere de rădăcină pătrată se
iniţializează ca şi algoritmul apriori cu reacţie pe eroare. Figura 12.4 prezintă o celulă a
filtrului LS lattice-scară cu rotaţii Givens şi extragere de rădăcină pătrată.

Probleme
P 12.1 Arătaţi că partiţionarea lui Rˆ  n din relaţia (12.5) ce conduce la o structură de
m 1

partiţie similară cu cea din relaţia (12.2), este posibilă numai dacă estimarea LS se
face cu „prewindowing”, adică um  1  0 . Ce formă ia partiţionarea dacă se
renunţă la condiţia de „prewindowing”?
P 12.2 Demonstraţi identitatea (12.31) referitoare la calculul recursiv după ordin al
inversei matricii R m1 partiţionate inferior-dreapta:

 mf rmfH 
1
0 0mH  1 1 
R 1
 f     f a  1 am 
H

R 
m 1 1
rm R mf   0m f
 m  m
 m 
P 12.3 Deduceţi formulele ecuaţiilor normale şi ale energiei minime a erorii LS date în
Tabelul 12.1 pentru filtrul erorii de predicţie înainte şi filtrul erorii de predicţie
înapoi.
P 12.4 Deduceţi formulele de recursie apriori şi aposteriori din Tabelul 12.2 referitoare la
filtrul erorii de predicţie înainte şi la filtrul erorii de predicţie înapoi.
398 ALGORITMI RLS RAPIZI - 12

P 12.5 Modificaţi ordinograma algortimului FAEST din Tabelul 12.4 pentru a obţine
algoritmul FTF. Scrieţi funcţia MATLAB care implementează algoritmul FTF.
P 12.6 Algoritmii RLS lattice-scară aposteriori şi apriori utilizează factorul de conversie
 m  n în calculul recursiv al mărimilor Emf  n , Emb  n, m  n şi  mw  n , calcul
care are nevoie atât de erorile apriori cât şi de erorile aposteriori. Deduceţi un
filtru dublu RLS lattice-scară ( atât apriori cât şi aposteriori) care să evite
utilizarea factorului de conversie prin actualizarea simultană a erorilor de
predicţie şi filtrare atât aposteriori cât şi apriori.
P 12.7 În această problemă vom discuta despre câteva mărimi care pot servi la avertizare
în privinţa unei comportări incorecte a algoritmilor RLS rapizi.
(a) Arătaţi că variabila
 m1  n  Emb  n  1
m  n    1  g m1,m1  n emb*  n
 m  n Emb  n
satisface condiţia 0  m  n  1 .
(b) Demonstraţi relaţiile
ˆ  n  1
det R ˆ  n
det R det Rˆ  n
 m  n   m m
, Emf  n  m 1
, Emb  n  m 1

det Rˆ  n det ˆ  n  1
R det Rˆ  n
m m m

(c) Arătaţi că:

Emb  n
 m  n   m

Emf  n
şi utilizaţi rezultatul pentru a explica de ce mărimea m  n  Emf  n   m Emb  n
este folosită ca variabilă de avertizare.
(d) Explicaţi de ce mărimile următoare sunt utilizate în calitate de variabile de
avertizare.
eb  n 
 i   g  n g M 1, M 1  n  ,  ii  b n eb  n    E b  n  1 g M 1, M 1 n 
 E  n  1
b
 Bibliografie
F. Albu, M. Bouchard, şi Y. Zakharov, "Pseudo-affine projection algorithms for multichannel
active noise control," IEEE Trans. Audio, Speech and Language Processing, vol. 15, pp.
1044–1052, March, 2007.
S. T. Alexander, Adaptive Signal Processing. Theory and Applications. New York, NY, U.S.A.:
Springer-Verlag, 1986.
J. A. Apolinário_Jr, S. Werner, T. I. Laakso, şi P. S. R. Diniz, "Constrained normalized adaptive
filtering for CDMA mobile communications," în Proc. EUSIPCO - European Signal
Processing Conference, Rhodos, Grecia, 63, 1998, pp. 2053-2056.
K. J. Ǻström şi B. Wittenmark, Adaptive Control. Reading, Mass., U.S.A.: Adison-Wesley, 1989.
M. Bellanger, Analyse des signaux et filtrage numérique adaptatif. Paris: Masson, 1989.
M. Bellanger, Adaptive Digital Filters, 2nd ed. New York, NY, U.S.A.: Marcel Dekker, Inc.,
2001.
J. Benesty, "Adaptive Filtering and Spectral Analysis," INRS-EMT, Ed.: Université du Québec,
2004. http://externe.emt.inrs.ca/users/benesty/course.html
J. P. Burg, "A New Analysis Technique for Time Series Data," NATO Advanced Study Institute
on Signal Processing, Enschede, Olanda 1968.
J. P. Burg, "Maximum Entropy Spectral Analysis." vol. Ph.D. thesis Stanford, CA.: Stanford
University, 1975.
G. Carayannis, D. G. Manolakis, şi N. Kalouptsidis, "A fast sequential algorithm for least-squares
filtering and prediction," IEEE Trans. Acoustics, Speech and Signal Processing, vol. 31(6),
pp. 1394–1402, 1983.
A. Carusone şi D. A. Johns, "Analogue adaptive filters: past and present," IEE Proc.-Circuits
Devices Syst., vol. 147, pp. 83-90, No. 1, February, 2000.
T. F. Chan, "An improved algorithm for computing the SVD,".ACMTrans. Mathematical
Software, pp. 72–88, 8, 1982.
S. Ciochină, "Sisteme adaptive, Note de curs," Bucureşti: Universitatea Politehnică, 2008.
http://www.comm.pub.ro/master/sa/
S. Ciochină şi C. Negrescu, Sisteme adaptive. Bucureşti: Editura Tehnică, 1999.
J. M. Cioffi, "Limited-precision effects in adaptive filtering," IEEE Trans. on circuits and
systems, vol. CAS-34(7) pp. 821–833, 1987.
J. M. Cioffi şi T. Kailath, "Fast, recursive-least-squares transversal filters for adaptive filtering,"
IEEE Trans. Acoustics, Speech and Signal Processing, vol. 32(2), pp. 304–337, 1984.
P. M. Clarkson, Optimal and Adaptive Signal Processing: CRC Press, 1993.
G. Dahlquist şi A. Bjorck, Numerical Methods. Englewood Cliffs, NJ.: Prentice Hall, 1974.
P. S. R. Diniz, Adaptive Filtering: Algorithms and Practical Implementation, 3rd revised ed.:
Springer, 2008.
S. C. Douglas, "Introduction to Adaptive Filters," în The Digital Signal Processing Handbook, V.
K. Madisetti şi D. B. Williams, Eds. Boca Raton, FLA, U.S.A.: CRC Press, 1998.
S. C. Douglas şi R. Losada, "Adaptive filters in MATLAB: from novice to expert," în Proc. 2nd
Signal Processing Education Workshop, Callaway Gardens, GA, 73, October 2002, pp. 1-6,
paper 4.9.
S. J. Elliott, Signal processing for active control. London, UK: Academic Press, 2001.
S. J. Elliott şi P. A. Nelson, "Active noise control," IEEE Signal Processing Magazine, pp. 12-35,
October, 1993.
D. D. Falconer şi L. Ljung, "Application of fast Kalman estimation to adaptive equalization,"
IEEE Trans. Communications, vol. 26(10), pp. 1439–1446, 1978.
400 BIBLIOGRAFIE

B. Farhang-Boroujeny, "Channel equalization via channel identification: algorithms and

simulation results for rapidly fading HF channel," IEEE Trans. Commun., vol. Vol. 44, pp.
1409-1412, no. 11, 1996.
B. Farhang-Boroujeny, Adaptive Filters. Theory and Applications. Chichester, England: J. Wiley
& Sons, 1998.
S. A. Fechtel şi H. Meyr, "Optimal feedforward estimation of frequency-selective fading radio
channels using statistical channel information," în ICC'92 Conference Record, Chicago, IL, 7,
June 14-18, 1992, pp. 677-681.
A. Feuer şi E. Weinstein, "Convergence analysis of LMS filters with uncorrelated Gaussian data,"
IEEE Trans. Acoust. Speech Signal Process, vol. ASSP-33, pp. 222-230, 1, 1985.
O. L. Frost_III, "An algorithm for linearly constrained adaptive array processing," Proceedings of
IEEE, vol. 60, pp. 926-935, Aug., 1972.
W. A. Gardner, "Learning characteristics of stochastic-gradient-descent algorithm: A general
study, analysis and critique.," Signal Processing, vol. 6, pp. 113-133, 1984.
D. N. Godard, "Channel equalization using a Kalman filter for fast data transmission," IBM J.
Res. Dev., vol. 18, pp. 267-273, 1974.
G. H. Golub şi C. F. Van_Loan, Matrix Computations, 3rd ed. Baltimore, MD, U.S.A.: The John
Hopkins University Press, 1996.
G. C. Goodwin şi K. S. Sin, Adaptive Filtering, Prediction and Control. Englewood Cliffs, N.J.:
Prentice-Hall, 1984.
L. J. Griffiths, "A continously adaptive filter implemented as a lattice structure," în Proc. ICASSP,
Hartford, Conn., USA, 71, 1977, pp. 683-686.
L. Håkansson, "Limited Numerical Precision and The LMS Algorithm, and The Leaky LMS -
Solution," în Adaptive Signal Processing Course Ronneby, Suedia: Blekinge Institute of
Technology, 2004. http://www.its.bth.se/courses/etc004/
L. Håkansson, "The Filtered-x LMS Algorithm," în Adaptive Signal Processing Course Ronneby,
Suedia: Blekinge Institute of Technology, 2006. http://www.its.bth.se/courses/etc004/
S. Haykin, Adaptive Filter Theory, 3rd ed. Englewood Cliffs, NJ, U.S.A: Prentice Hall, 1996.
S. Hsieh, K. Liu, şi K. Yao, "A unified square-root-free approach for QRD-based recursive least-
squares estimation," IEEE Trans. Signal Processing, vol. 41(3), pp. 1405–1409 March, 1993.
M. Iosifescu, G. Mihoc, şi R. Teodorescu, Teoria probabilităţilor şi statistică matematică.
Bucureşti: Editura Tehnică, 1966.
N. S. Jayant şi P. Noll, Digital Coding of Waveforms: Principles and Applications to Speech and
Video. Englewood Cliffs, NJ, U.S.A.: Prentice-Hall, 1984.
D. H. Johnson şi D. E. Dudgeon, Array Signal Processing: Concepts and Techniques. Englewood
Cliffs, NJ, U.S.A.: Prentice Hall, 1993.
T. Kailath, "An innovations approach to least-squares estimation: Part 1. Linear filtering in
additive white noise," IEEE Trans. Autom. Control, vol. AC-13, pp. 646-655, 1968.
T. Kailath, Lectures on Linear Least-Squares Estimation. New York: Springer-Verlag, 1981.
P. G. Kaminski, A. E. Bryson, şi S. F. Schmidt, "Discrete square root filtering: A survey of
current techniques," IEE Trans. Autom. Control, vol. AC-16, pp. 727-735, 1971.
S. Kay, "Spectral Estimation," în Advanced Topics in Signal Processing, J. S. Lim şi A. V.
Oppenheim, Eds. Englewood Cliffs, NJ., U.S.A.: Prentice-Hall, 1988.
W. Kenneth_Jenkins şi D.F. Marshall, "Transform Domain Adaptive Filtering," în Digital Signal
Processing Handbook, V. K. Madisetti şi D. B. Williams, Eds.: CRC Press LLC, 1999.
H. J. Kushner, Stochastic Approximation Methods for Constrained and Unconstrained Systems.
Cambridge, Mass., USA: MIT Press, 1984.
R. E. Lawrence şi H. Kaufman, "The Kalman filter for the equalization of a digital
communication channel," IEEE Trans. Commun. Technol., vol. COM-19, pp. 1137-1141,
1971.
D. T. L. Lee, M. Morf, şi B. Friedlander, "Recursive least-squares ladder estimation algorithms,"
IEEE Trans. Circuits and Systems, vol. 28(6), pp. 467–481, 1981.
F. Ling, "Givens rotation based least-squares lattice and related algorithms," IEEE Trans. Signal
Processing, vol. 39, pp. 1541–1551, 1991.
 BIBLIOGRAFIE 401

F. Ling, D. Manolakis, şi J. G. Proakis, "Numerically robust least-squares lattice-ladder algorithm

with direct updating of the reflection coefficients," IEEE Trans. Acoustics, Speech and Signal
Processing, vol. 34(4), pp. 837–845, 1986.
K. J. R. Liu, S. F. Hsieh, şi K. Yao, "Systolic block Householder transformation for RLS
algorithm with two-level pipelined implementation," IEEE Trans. Signal Processing, vol. 40,
946–958, 1992.
L. Ljung şi T. Söderström, Theory and practice of recursive identification. Cambridge, Mass.
USA: MIT Press, 1983.
R. W. Lucky, "Automatic equalization for digital communications,". Bell System Tech. J., vol.
44, pp. 547–588, April., 1965.
R. W. Lucky, J. Salz, şi E. J.Weldon, Principles of Data Communications. New York: McGraw-
Hill, 1968.
D. G. Luenberger, Linear and Nonlinear Programming, 2nd ed. Reading, MA, U.S.A.: Addison-
Wesley 1984
J. Makhoul, "Linear prediction: A tutorial review," Proceedings of IEEE, vol. 63(4), pp. 561-580,
1975.
J. Makhoul, "On the eigenvectors of symmetric Toeplitz matrices," IEEE Trans. Acoust. Speech
Signal Process, vol. ASSP-29, pp. 868-872, 1981.
D. G. Manolakis, V. K. Ingle, şi S. M. Kogon, Statistical and Adaptive Signal Processing.
Norwood, MA, U.S.A: Artech House, 2005.
A. Mateescu, S. Ciochină, N. Dumitriu, A. Şerbănescu, şi L. Stanciu, Prelucrarea numerică a
semnalelor. Bucureşti: Editura Tehnică, 1997.
J. H. McClellan, "Parametric Signal Modeling," în Advanced Topics in Signal Processing, J. S.
Lim şi A. V. Oppenheim, Eds. Englewood Cliffs, NJ., U.S.A., 1988.
J. G. McWhirter şi I. K. Proudler, "The QR family," în Adaptive System Identification and Signal
Processing Algorithms, N. Kalouptsidis şi S. Theodoridis, Eds. Englewood Cliffs, NJ.:
Prentice Hall, 1993, pp. 260–321.
F. Michaut, Méthodes adaptives pour le signal. Paris: Ed. Hermés, 1992.
M. Morf, "Fast Algorithms for Multivariable Systems." vol. Ph.D. dissertation, Stanford, CA.:
Stanford University, 1974.
M. Morf şi T. Kailath, "Square-root algorithms for least-squares estimation," IEEE Trans. Autom.
Control, vol. AC-20, pp. 487-497, 1975.
D. R. Morgan, "An analysis of multiple correlation cancellation loops with a filter in the auxiliary
path," IEEE Trans. Acoust. Speech Signal Process, vol. ASSP-28(4), pp. 454-467, August,
1980.
I. Naforniţă, A. Câmpeanu, şi A. Isar, Semnale, circuite şi sisteme vol. 1. Timişoara: Litografia
U.T.T., 1995.
S. S. Narayan, A. M. Peterson, şi M. J. Narasimha, "Transform domain LMS algorithm," IEEE
Trans. Acoust. Speech Signal Process, vol. ASSP-31, pp. 609-615, June, 1983.
B. Noble şi J. W. Daniel, Applied Linear Algebra, 3rd ed. Englewood Cliffs, NJ.: Prentice Hall,
1988.
A. V. Oppenheim, R. W. Schafer, şi J. R. Buck, Discrete-Time Signal Processing, 2nd Illustrated
ed. Englewood Cliffs, NJ, U.S.A: Prentice Hall, 1998.
K. Ozeki şi T. Umeda, "An adaptive filtering algorithm using an orthogonal projection to an
affine subspace and its properties," Electronics and Communications in Japan, vol. 67-A, pp.
19-27, 1984.
C. T. Pan şi R. J. Plemmons, "Least-squares modifications with inverse factorizations: Parallel
implications," Comput. Appl. Math., vol. 27, pp. 109–127, 1989.
A. Papoulis, Probability, Random Variables and Stochastic Processes, 3rd ed. New York:
McGraw-Hill, 1991.
E. Petrişor, Probabilităţi şi statistică Timişoara,: Editura Politehnica, 2005.
A. D. Poularikas şi Z. M. Ramadan, Adaptive Filtering Primer with MATLAB. Boca Raton, FL,
U.S.A.: CRC Press, 2006.
402 BIBLIOGRAFIE

W. H. Press, B. P. Flannery, S. A. Teukolsky, şi W. T. Vetterling, Numerical Recipes in C: The

Art of Scientific Computing. Cambridge, UK: Cambridge University Press, 1992.
A. Quinquis, A. Şerbănescu, şi E. Rădoi, Semnale şi sisteme. Aplicaţii în MATLAB. Bucureşti:
Editura Academiei Tehnice Militare, 1998.
S. Qureshi, "Adaptive equalization,". Proc. IEEE, vol. 73(9), pp. 1349–1387, September, 1985.
K. R. Rao şi P. Yip, Discrete Cosine Transform. Algorithms, Advantages, Applications. Boston,
Mass. U.S.A.: Academic Press, 1990.
M. Rupp, "The behavior of LMS and NLMS algorithms in the presence of spherically invariant
processes," IEEE Trans. Signal Processing, vol. 41(3), pp. 1149-1160, March, 1993.
A. H. Sayed, Adaptive Filters. Hoboken, NJ: John Willey & Sons Inc., 2008.
A. H. Sayed şi T. Kailath, "A state-space approach to adaptive RLS filtering," IEEE Signal
Processing Magazine, vol. 11, pp. 18–60, 1994.
A. H. Sayed şi T. Kailath, "Recursive Least-Squares Adaptive Filters," în The Digital Signal
Processing Handbook, V. K. Madisetti şi D. B. Williams, Eds. Boca Raton, FLA, U.S.A.:
CRC Press, 1998, pp. 486-524.
D. T. M. Slock, "On the convergence behavior of the LMS and the normalized LMS algorithms,"
IEEE Trans. Signal Processing, vol. 45(12), pp. 2811–2825, September, 1993.
M. Soumekh, Fourier Array Imaging. Englewood Cliffs, NJ, U.S.A.: Prentice Hall, 1994.
A. Spătaru, Teoria transmisiunii informaţiei. Bucureşti: Editura Tehnică, 1968.
S. D. Stearns, "Fundamentals of Adaptive Signal Processing," în Advanced Topics in Signal
Processing, J. S. Lim şi A. V. Oppenheim, Eds. Englewood Cliffs, NJ, U.S.A.: Prentice Hall,
1988, pp. 246-288.
G. W. Stewart, Introduction to Matrix Computations. New York.: Academic Press, 1973.
G. Strang, "The Discrete Cosine Transform," SIAM Review, vol. 41, pp. 135-147, No. 1, 1999.
A. Ştefănescu şi C. Zidăroiu, Cercetări operaţionale. Bucureşti: Editura Didactică şi Pedagogică,
1981.
J. R. Treichler, C. R. Johnson, şi M. G. Larimore, Theory and Design of Adaptive Filters. New-
York: John Wiley and Sons, 1986.
S. A. Tretter, Introduction to Discrete-Time Signal Processing. New-York, U.S.A.: Wiley, 1976.
J. Z. Tsypkin, "Adaptation and Learning in Automatic Systems," în Mathematics in Science and
Engineering. vol. 73 New York: Academic Press, 1971.
P. Vaidyanathan, J. Tugan, şi A. Kirac., "On the minimum phase property of prediction-error
polynomials," IEEE Signal Processing Letters, vol. 4(5), pp. 126–127, May, 1997.
N. A. M. Verkhoecx şi T. A. C. M. Claasen, "Some considerations on the design of adaptive
digital filters equipped with the sign algorithm," IEEE Trans. on Communications, vol. COM-
32, pp. 258-266, March, 1984.
E. A. Wan, "Adjoint LMS: An Efficient Alternative to the Filtered-X LMS and Multiple Error
LMS Algorithms," în Proc. of ICASSP96, 65, 1996, pp. 1842-1845.
G. Weiss, "Time-reversibility of linear stochastic processes," J. Appl. Probability, vol. 12, pp.
831–836, 1975.
B. Widrow şi M. E. Hoff Jr., "Adaptive switching circuits," în. IRE WESCON Conv. Rec., 44,
1960, pp. 96–104.
B. Widrow şi S. D. Stearns, Adaptive Signal Processing. Englewood Cliffs, NJ. U.S.A.: Prentice-
Hall, 1985.
B. Yang şi J. F. Böhme, "Rotation-based RLS algorithms: Unified derivations, numerical
properties and parallel implementations," IEEE Trans. Signal Processing, vol. 40, pp. 1151–
1167, 1992.
 INDEX
Algoritmi LMS cu semn 224 algoritmi lattice-scară cu rotaţii Givens
algoritmul LMS cu semnul datelor 226 398
algoritmul LMS cu semnul erorii 224 algoritmul FAEST 378
algoritmul LMS semn-semn 226 algoritmul FTF 378
Algoritmi LMS cu transformare de algoritmul Kalman rapid 376
domeniu 235 algoritmul lattice RLS aposteriori 384
algoritm LMS cu pas normalizat 241 algoritmul lattice RLS apriori 385
formularea algoritmului 241 algoritmul lattice-scară aposteriori 388
principiul TDAF 235 algoritmul lattice-scară apriori 389
proprietatea de separare în benzi 238 algoritmul LRLS 383
transformare de similaritate 239 cu descompunere QR 370
Algoritmi LMS-GAL 251 cu recursie după ordin 370
algoritmul LMS-GAL de filtrare adaptivă ecuaţiile erorii de predicţie LS 367
254 fără recursie de ordin 370
algoritmul NLMS-GAL 253 instabilitate numerică 380
filtrul erorii de predicţie lattice 251 proprietatea de invarianţă la deplasare
Algoritmi RLS 295, 348 a vectorului de date 366
algoritmul adaptiv LS aposteriori 298 recursia după ordinul filtrului 365
algoritmul adaptiv LS apriori 297 recursie în timp 365
algoritmul RLS standard 302 Algoritmul de proiecţie afină (APA) 244
analiza algoritmului cu memorie finită algoritm cu reutilizarea datelor 247
306 formularea algoritmului APA 245
analiza algoritmului cu memorie infinită interpretarea proiecţiei afine 249
305 Algoritmul Gram-Schmidt 144
ecuaţii de recursie 296 Algoritmul Kalman
factor de conversie 299 filtrare de rădăcină pătrată 353
iniţializarea algoritmului 304 Algoritmul Levinson-Durbin 129
vectorul câştigului de adaptare 297 implementare 133
vectorul de câştig adaptiv alternativ 298 invers 135
Algoritmi RLS cu factorizare QR 310 Algoritmul LMS 177
algoritmul QR-RLS 315 analiza performanţelor 180
algoritmul QR-RLS cu rotaţii Givens 321 convergenţa în medie 183
algoritmul QR-RLS extins 317 curba de învăţare 185, 187
algoritmul QR-RLS invers 318 deducerea algoritmului 177
algoritmul QR-RLS invers cu rotaţii dezadaptare 190
Givens 323 egalizare adaptivă 200
descompunerea Cholesky 312 EPM în exces 190
Algoritmi RLS rapizi 348, 365 EPM minimă 186
algoritmi lattice-scară cu reacţie pe erori de cuantizare 217
eroare 391 ipoteza de independenţă 181, 184
404 INDEX

matricea de corelaţie a erorii Ecuaţii Wiener-Hopf (ecuaţii normale) 88

coeficienţilor 187 calculul funcţiei de cost 91
modelare de sistem 198 forma canonică a suprafeţei de eroare
predicţia lineară 195 94
relaţie de recursie 178 matricea de corelaţie 89
stabilitatea algoritmului 192 pentru filtre FIR 89
Algoritmul LMS cu „pierderi” 183 rezolvare prin descompunere
Algoritmul LMS cu constrângeri 213 triunghiulară 96
Algoritmul LMS cu filtrarea erorii 207 suprafaţa de eroare 91
algoritm LMS adjunct 209 vectorul de intercorelaţie 89
Algoritmul LMS cu filtrarea referinţei 205 Ecuaţii Wiener-Hopf extinse 119
Algoritmul LMS normalizat 227 pentru predicţia generalizată 127
calculul pasului variabil 229 pentru predicţia înainte 119
stabilitatea algoritmului 230 pentru predicţia înapoi 125
Algoritmul LMS-Newton 232 Egalizor de canal 103
Algoritmul Schür 136 simetric 104
implementare 138 zero-forcing 106
Anularea ecoului acustic 17 Eroare aposteriori 230, 296, 298, 362
Anularea ecoului pe liniile telefonice 15 Eroare apriori 296, 297, 362
Aproximarea Taylor 357 Eroare pătratică medie (EPM) 83, 155
Erori normalizate unghiular 392
Beamformer 18, 107, 211 Estimator de varianţă minimă fără
distorsiuni (MVDR) 110
Codarea predictivă lineară 12
Codarea vorbirii 12 Factorizare QR
Coeficient de corelaţie parţială (PARCOR) redusă 276
133 Factorizarea QR 276
LS 381, 382 Filtrare optimală lineară 81
Coeficient Rayleigh 63 problema filtrării adaptive Wiener 83
Coeficienţi de reflexie 132, 255 Filtre FIR cu estimare LS 272
estimatorul Burg 149 alegerea intervalului de filtrare 274
înapoi LS 381 Filtru adaptat 67
normalizaţi 396 Filtru all-pole 10, 24
Combinator linear 3 Filtru de „albire” 73, 119, 142, 173
Convoluţia circulară 28 Filtru de fază minimă 141
Convoluţia lineară 22 Filtru de netezire simetric 128
Criteriu statistic 82 Filtru FIR 2
Filtru IIR 4
Densitate de probabilitate 38 Filtru Kalman
Descompunere în valori singulare 275 ecuaţia Riccati 340
descompunerea SVD a unei matrici 288 Filtru propriu 67
teorema descompunerii în valori Filtrul erorii de predicţie 9, 117, 129
singulare 285 generalizate 126
Deviaţia pătratică medie (DPM) 306 înainte 118
înapoi 124
Ecuaţii de recursie LS Levinson-Durbin 381 proprietăţi 140
 INDEX 405

Filtrul erorii de predicţie LS 369 ecuaţie caracteristică 55

înainte 369 inversare de matrice prin lema de
înapoi 369 partiţionare 374
Filtrul Kalman 344 în sens LS 367
algoritm de filtrare informaţională 350 partiţionare 366
algoritmul de filtrare de covarianţă 350 proprietăţi 51
algoritmul Kalman standard 346 proprietăţile valorilor şi vectorilor
condiţii iniţiale 344 proprii 57
corespondenţa dintre variabilele transformarea unitară de similaritate
Kalman-RLS 363 59, 159
corespondenţa Kalman-RLS 361 valori proprii 55, 159
factor de conversie 342 vectori proprii 56, 159
filtrul Kalman extins (EKF) 354 Matricea de schimb 123
matricea de autocorelaţie a erorii de Matrici ortogonale 159
filtrare a stării 344 Media temporală 44
matricea de câştig Kalman 338 Metoda celor mai mici pătrate (LS) 261
modelul sistemului dinamic neforţat349 corolarul principiului ortogonalităţii 267
problema filtrării Kalman 333 ecuaţia matricială a erorii 261
variabila de inovaţii 362 ecuaţii normale 265
vectorul de eroare a estimării filtrate ecuaţii normale ponderate 269
342 estimator linear de eroare LS 262
vectorul de eroare a predicţiei de stare funcţia de cost - energia semnalului de
335 eroare 262
vectorul erorii de filtrare a stării 343 interpretare geometrică 266
Filtrul Wiener 81 înregistrări de date 263
caracterizare în frecvenţă 102 înregistrări instantanee 263
Formula Burg 149 principiul ortogonalităţii 267
Funcţia de autocorelaţie 39 proprietăţi statistice 270
Funcţia de autocovarianţă 39 soluţia de normă minimă 288
varianţa 39 Metoda de ortogonalizare Gram-Schmidt
Funcţia de distribuţie 38 283, 334
Funcţie de corelaţie 40 clasică (GS) 283
Funcţie de cost 83, 155 modificat (MGS) 284
calculul gradientului 228 Metoda Newton 169
convergenţă 171
Gradientul suprafeţei de eroare 157 Metoda overlap-add 31
Metoda overlap-save 31
Interferenţă intersimbol 8, 104 Metoda SD 154
calculul soluţiei 158, 160
Lema Burg 382 condiţii de convergenţă 161
Lema de inversare matricială 233 panta descendentă maximă 156
Leme de factorizare matricială 314 pasul algoritmului 164
recursia SD 157
Matrice de corelaţie 51 vectorul coeficienţilor necuplaţi 159
descompunere LDU 69 viteza de convergenţă 164
descompunere UDL 70 Model ARMA 75
406 INDEX

Model autoregresiv (AR) 10, 72 înainte 116, 117

ecuaţii Yule-Walker 74 înapoi 122
Model cu medie alunecătoare (MA) 10, 71
Modelare adaptivă 6 Reţea adaptivă de antene 19
identificarea sistemelor 7 Rotaţie Givens 281, 320
Modelarea inversă 7
egalizarea de canal 7 Sisteme lineare invariante în timp (SLIT) 23
sisteme FIR 24
Operatorul de mediere temporală 265, 367 sisteme IIR 24
Operaţie de normare 240 SLIT cauzal 25
Optimizare cu constrângere 107, 211 SLIT de fază minimă 26
algoritmul LMS normalizat 228 SLIT stabil 25
metoda multiplicatorilor lui Lagrange Spaţiul stărilor 331
108, 212, 228 ecuaţie de măsurare 332
ecuaţie de proces 332
Predictor 9, 115 matrice de măsurare 332
lattice 145 matrice de măsurare nelineară 355
Predicţia lineară 115, 121, 251 matrice de tranziţie nelineară 355
eroare de predicţie înainte 116 matricea de tranziţie a stărilor 332
eroarea de predicţie înapoi 121, 142 model nelinear 355
generalizată 126 stare 332
Predicţia lineară LS 366 zgomot de măsurare 332
eroarea aposteriori înainte 367, 369 zgomot de proces 332
eroarea aposteriori înapoi 368, 369 Structura lattice 142, 147, 252, 383
eroarea apriori înainte 368, 369 LS 383
eroarea apriori înapoi 368, 369 Structura lattice-scară 254, 387
Principiul ortogonalităţii 84, 85 Structuri sistolice 322
corolar 86
interpretarea geometrică 86 Tehnici de estimare spectrală
Proces aleator în timp discret 37 neparametrice 11
ansamblu 37 Tehnici de ortogonalizare 275
densitate spectrală de putere 46 Teorema Wiener-Hincin 47
ergodic 43, 44 Transformarea cosinus discretă DCT 32,
independent 40 237
necorelat 40 Transformarea Fourier discretă DFT27, 237
ortogonal 40 Transformarea Fourier în timp discret 27
proces stochastic 38 Transformarea Fourier rapidă FFT 28
realizare 37 Transformarea Hartley discretă 237
staţionar 41 Transformarea Householder 279
staţionar în sens larg 41 Transformarea Karhunen-Loève 63, 172,
variabilă aleatoare 38 243
Proces de inovaţii 333 algoritmi LMS cu transformare de
matricea de corelaţie 334 domeniu 243
Pseudo-inversa unei matrici 268, 289 algoritmul LMS-Newton 243
condiţiile Moore-Penrose 289 Transformarea sinus discretă 237
Puterea erorii de predicţie 122, 124, 132 Transformarea Z 21
 INDEX 407

proprietăţile transformării Z 22
Zero padding 29
Valoare medie 39 Zgomot alb 48, 56
Valoare medie pătratică 39 zgomot alb gaussian 48